تبدأ عملية الزحف بقائمة بعناوين الويب من عمليات الزحف السابقة وملفات Sitemap التي قدمها مالكو مواقع الويب. وتستخدم برامج الزحف لدينا أثناء زيارتها لمواقع الويب روابط على هذه المواقع لاكتشاف صفحات أخرى. ويولي برنامج الزحف أهمية خاصة بالمواقع الإلكترونية الجديدة والتغييرات التي تطرأ على المواقع الحالية والروابط المعطَّلة. وتحدِّد برامج الكمبيوتر المواقع الإلكترونية التي يجب الزحف إليها ومعدّل جلب صفحات من كل موقع وعددها

https://www.google.com/intl/ar/search/howsearchworks/crawlin...
***********************************
برامج الزحف من Google (وكلاء المستخدمين)
برامج الروبوت التي يستخدمها محرك البحث Google للزحف إلى مواقع الويب

"الزاحف" هو مصطلح عام لأي برنامج (مثل الروبوت أو العنكبوت) يتم استخدامه لاكتشاف مواقع الويب وفحصها تلقائيًا من خلال تتبُّع الروابط من صفحة ويب إلى أخرى. ويُطلق على الزاحف الرئيسي في Google اسم Googlebot. ويسرد هذا الجدول معلومات عن برامج الزحف الشائعة من Google التي من الممكن أن تراها في سجلات المُحيل، والطريقة التي يجب تحديدها بها في ملف robots.txt والعلامات الوصفية لبرامج الروبوت وأوامر X-Robots-Tag HTTP.

يعرض الجدول التالي برامج الزحف التي يستخدمها عدد من المنتجات والخدمات على Google

https://support.google.com/webmasters/answer/1061943?hl=ar
***************************************
زحف محركات البحث

بعد تثبيت ووردبريس علي الاستضافة وبداية رفع المقالات تحتاج الي تهيئة الموقع لمحركات البحث حتي يتم ارشفة المحتوي بصورة سريعة وصحيحة

تستخدم محركات البحث الزحف ( crawling ) لفهرسة المواقع والتعرف علي المحتوي والصفحات والاقسام و الروابط الداخلية وكل شيئ متعلق بالمحتوي يساعد في تسريع عملية فهرسة الموقع الالكتروني

http://www.aksbonline.com/تهيئة-الموقع-الالكتروني-للارشفة-ال...
************************
محركات البحث – (حل) مشاكل الزحف

وجدنا خلال الفترات الماضية شكوى لأصحاب المواقع عن مشاكل زحف محركات البحث (خصوصا جوجل) إلي مواقعهم فضلا لتحديث محركات البحث المستمر لخوارزمية البحث و الأرشفة ويهدد ذلك من بقاء مواقعهم متاحة لكم الزوار القادم لهم من البحث
لذلك سنبدأ معا في كتابة حل/توجيه عام لحل هذه المشاكل او اﻻبتعاد عنها بالقدر الكافي

https://www.tech-wd.com/wd/2014/03/28/محركات-البحث-حل-مشاكل-...
******************
والله أعلم