ما هو ملف robots.txt؟

يوجد ملف robots.txt في المجلد الجذر لموقع الويب، كما في https://example.com/robots.txt، ويخبر برامج الزحف بالصفحات التي يمكنها جلبها. تقرؤه محركات البحث وغيرها من الروبوتات التي تلتزم بالقواعد قبل الزحف إلى الموقع. لكنه لا يتحكم في الوصول: فلا يزال بإمكان أي شخص فتح الصفحات، ولا يمنع الروبوت الذي يتجاهل الملف من ذلك.

كيفية استخدامه

  • جميع برامج الزحف: اختر السماح للجميع أو حظر الجميع. عند اختيار السماح للجميع، أدرج المسارات التي ينبغي لبرامج الزحف تجنبها ضمن المسارات المحظورة، مسارًا في كل سطر، مثل /admin/ أو /cart. تتيح المسارات المسموح بها مجددًا الوصول إلى المسارات الموجودة ضمنها، مثل /admin/help/. عند اختيار حظر الجميع، تكون المسارات المسموح بها هي الأماكن الوحيدة التي يمكن لبرامج الزحف الوصول إليها.
  • برامج زحف الذكاء الاصطناعي: يضيف مربعا اختيار مجموعتين تمنعان برامج زحف الذكاء الاصطناعي من الوصول إلى الموقع بأكمله (انظر أدناه).
  • أخرى: يطلب تأخير الزحف من برامج الزحف الانتظار لعدد محدد من الثواني بين الطلبات. يلتزم Bing وYandex بهذا الإعداد، بينما يتجاهله Google. أدرج عناوين خرائط المواقع كاملة، مثل https://example.com/sitemap.xml.

يُحدَّث الملف أثناء الكتابة. انسخه، أو نزّل ملف robots.txt وارفعه إلى المجلد الجذر لموقعك.

كتابة المسارات

  • يبدأ المسار بشرطة مائلة، ويطابق كل عنوان يبدأ به: يطابق /admin العناوين /admin و/admin/ و/administrator، بينما يطابق /admin/ المجلد وما بداخله فقط.
  • تطابق النجمة أي محارف، وتشير علامة الدولار إلى نهاية العنوان، لذا يطابق /*.pdf$ كل ملفات PDF. يفهم Google وBing ومعظم برامج الزحف الرئيسية الأخرى كليهما.
  • تميّز المسارات بين الأحرف الكبيرة والصغيرة: فـ /Admin/ و/admin/ مساران مختلفان.
  • تُستبعد الأسطر التي ليست مسارات من الملف، وتُعرض فوقه لتتمكن من تصحيحها.

كيفية عمل القواعد معًا

يتبع برنامج الزحف المجموعة التي تسميه على نحو أكثر تحديدًا، ولا يتبع سواها. ويتجاهل برنامج الزحف المذكور في إحدى مجموعات الذكاء الاصطناعي قواعد جميع برامج الزحف، ويُحظر بالكامل. داخل المجموعة، تكون الأولوية للمسار المطابق الأطول، لذا يتيح Allow: /admin/help/ الوصول إلى ذلك المجلد ضمن Disallow: /admin/. ينشئ المولّد أسطر Allow قبل أسطر Disallow، ما يعطي النتيجة نفسها مع برامج الزحف الأقدم التي تعتمد أول قاعدة مطابقة.

حظر برامج زحف الذكاء الاصطناعي

يمنع حظر برامج زحف تدريب الذكاء الاصطناعي برامج الزحف التي تجمع الصفحات لتدريب نماذج الذكاء الاصطناعي: GPTBot (OpenAI) وClaudeBot (Anthropic) وGoogle-Extended (لتدريب Gemini وإرساء المعلومات لدى Google؛ ولا يتأثر بحث Google) وApplebot-Extended (لنماذج Apple للذكاء الاصطناعي؛ ولا يتأثر بحث Apple) وCCBot (Common Crawl، مجموعة بيانات عامة تُدرَّب عليها نماذج ذكاء اصطناعي كثيرة) وmeta-externalagent (Meta) وAmazonbot (Amazon).

يمنع حظر روبوتات البحث والمساعدات المعتمدة على الذكاء الاصطناعي الروبوتات التي تقرأ الصفحات لعرض نتائج البحث المعتمدة على الذكاء الاصطناعي، ولتمكين المساعدات من الإجابة عن أسئلة المستخدمين: OAI-SearchBot وChatGPT-User (OpenAI) وClaude-SearchBot وClaude-User (Anthropic) وPerplexityBot وPerplexity-User (Perplexity) وmeta-webindexer وmeta-externalfetcher (Meta) وAmzn-SearchBot وAmzn-User (Amazon). وقد يؤدي حظرها إلى استبعاد صفحاتك من إجابات الذكاء الاصطناعي تلك والروابط الواردة فيها. وقد لا تلتزم الروبوتات التي تجلب صفحة بناءً على طلب شخص ما بملف robots.txt، وفقًا لما يذكره مشغّلوها.

كل اسم هو token الخاص بـ user-agent الذي يوثّقه مشغّله للاستخدام في ملف robots.txt.

مثال

عند حظر /admin/ والسماح بـ /admin/help/، وحظر برامج زحف تدريب الذكاء الاصطناعي، وإضافة خريطة موقع، يكون محتوى الملف كالتالي:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# برامج زحف تدريب الذكاء الاصطناعي
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

الميزات

  • السماح لجميع برامج الزحف أو حظرها، مع تحديد المسارات المحظورة والمسموح بها
  • حظر برامج زحف تدريب الذكاء الاصطناعي، أو روبوتات البحث والمساعدات المعتمدة على الذكاء الاصطناعي، باستخدام أسمائها الموثّقة
  • تأخير الزحف وخرائط المواقع
  • الإشارة إلى المسارات والعناوين غير الصالحة
  • نسخ ملف robots.txt أو تنزيله