خزنده موتور جستجو ( Crawler ) چیست ؟

خزنده موتور جستجو

سلام خدمت کاربران محترم سایت seorob, در این بخش از مقالات قصد داریم شما را با خزنده موتور جستجو یا Crawler  موتور جستجوی گوگل آشنا کنیم ،با ما همراه باشید.

خزنده نوعی نرم افزار است که به عنوان یک فرمانده برای عنکبوت یا Spider عمل می‌کند. خزنده مشخص می‌کند که عنکبوت کدام صفحات را مورد بازدید قرار دهد. در واقع خزنده تصمیم می‌گیرد که کدام یک از پیوندهای صفحه‌ای که عنکبوت در حال حاضر در آن قرار دارد دنبال شود که ممکن است همه و یا بعضی از آن‌ها را دنبال نماید و یا هیچ کدام را دنبال نکند.

عنکبوت ( Spider ) چیست؟

عنکبوت یا Spider مهره‌ای است که از تارهای خود برای شکار استفاده می‌کند . تار عنکبوت به شکار طعمه و آویزان شدن وی کمک می‌کند . خزندگان هم در عین سکون ، برای شکار طعمه‌های خود با موقعیت‌یابی و سنجش ، به سرعت طعمه‌های خود را شکار می‌کنند. برنامه‌ی خزنده موتور جستجو  نیز همین کار را انجام می‌دهد. این برنامه مثل خزنده‌ای از کدهای خود برای یافتن داده‌های به‌روز‌رسانی شده و یا تازه به دام افتاده استفاده می‌کند و آن‌ها را در اختیار موتورهای جست‌و‌جو قرار می‌دهد .

موتورهای جست‌و‌جو عبارتند از :

• Google
• Yahoo
• Bing
• Altavista
• Altheweb
• Askjeeves
• و …

خزنده موتور جست‌و‌جو

موتورهای جست‌و‌جو از خزنده‌ها برای پیدا کردن صفحات مرتبط با نتایج جست‌و‌جو استفاده می‌کنند. عنکبوت جست‌و‌جو گر Spider  و خزنده Crawler هر دو کار خزش و کاوش در صفحات وب را انجام می‌دهند ؛ با این تفاوت که خزنده مانند رهبر ، به عنکبوت دستور می‌دهد که کدام صفحات دنبال و کدام یک اصلا دنبال نشوند.

هدف فرآیند خزش ، جمع آوری مفیدترین ، مرتبط‌ترین صفحات با سرعت بالا و به‌صورت بهینه است. هر خزنده موتور جست‌و‌جو بر اساس الگوریتم خود، سایت‌ها را در اولویت قرار می‌دهد . خزنده سایت‌ها را مورد بازبینی و کاوش قرار داده و آن‌ها را رتبه‌بندی می‌نمایند .خزنده‌های موتورهای جست‌و‌جو به دنبال سایت‌هایی می‌گردند که کلمه کلیدی مورد جست‌وجوی کاربران بیشتر مورد استفاده قرار گرفته است، به عبارت ساده‌تر داشتن یک خزنده‌ی قوی یعنی داشتن یک موتور جستجوی قوی.

اگر شما مدیریت یک وب‌سایت را بر عهده دارید می‌توانید میزان دسترسی موتورهای جست‌و‌جوگر به صفحات وب‌سایت را تنظیم کنید و همچنین می‌توانید اجازه دسترسی به بعضی از صفحات را به موتورهای جست‌و‌جوگر ندهید. هنر یک بهینه‌سازی محتوا در شناسایی کلمات و عوامل کلیدی مورد نظر خزنده‌های جست‌و‌جو‌گر می‌باشد، به طوری که از خزنده‌ها برای  بهینه‌سازی و افزایش رتبه سایت خود استفاده برد.