ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي تضعه مواقع الويب في دليلها الجذر للتواصل مع زواحف الويب وروبوتات محركات البحث. ويحدد هذا الملف للزوار الآليين الصفحات أو الأقسام التي يمكنهم الوصول إليها أو التي لا يمكنهم الوصول إليها، وفقًا لبروتوكول استبعاد الروبوتات.

وصف الأداة

تجلب أداة فحص Robots.txt ملف robots.txt مباشرةً من خادمنا، لذلك لا حاجة إلى نسخ الملف ولصقه بنفسك. أدخل عنوان URL، وسيطلب الخادم ملف robots.txt من ذلك الموقع، ثم يحلله ويعرض المحتوى الخام إلى جانب خرائط المواقع التي يعلن عنها، وفترة تأخير الزحف، والمضيف المفضّل.

الميزات

  • الجلب من جهة الخادم: يطلب الخادم ملف robots.txt نيابةً عنك، لذلك لا تحتاج إلى توفير الملف محليًا
  • استخراج خريطة الموقع: يعرض كل إدخال Sitemap: مُعلن عنه في الملف
  • تأخير الزحف والمضيف المفضّل: يعرض توجيهي Crawl-delay وHost عند توفرهما