Qu’est-ce que robots.txt ?

Un fichier robots.txt se trouve à la racine d’un site web, à l’adresse https://example.com/robots.txt par exemple, et indique aux robots d’exploration quelles pages ils peuvent récupérer. Les moteurs de recherche et les autres robots qui respectent les règles le consultent avant d’explorer un site. Ce n’est pas un contrôle d’accès : tout le monde peut toujours ouvrir les pages, et un robot qui ignore le fichier n’est pas arrêté par celui-ci.

Comment l’utiliser

  • Tous les robots d’exploration : choisissez Tout autoriser ou Tout bloquer. Avec Tout autoriser, indiquez dans Chemins interdits les chemins que les robots d’exploration doivent éviter, à raison d’un par ligne, comme /admin/ ou /cart. Les chemins autorisés rouvrent les chemins qui se trouvent à l’intérieur, comme /admin/help/. Avec Tout bloquer, les chemins autorisés sont les seuls endroits où les robots d’exploration peuvent aller.
  • Robots d’exploration de l’IA : deux cases à cocher ajoutent des groupes qui empêchent les robots d’exploration de l’IA d’accéder à l’ensemble du site (voir ci-dessous).
  • Autres : le délai d’exploration demande aux robots d’exploration d’attendre ce nombre de secondes entre les requêtes. Bing et Yandex le respectent, contrairement à Google. Les URL des plans de site indiquent l’adresse complète de vos plans de site, comme https://example.com/sitemap.xml.

Le fichier est mis à jour au fur et à mesure de votre saisie. Copiez-le ou téléchargez robots.txt, puis envoyez-le dans le dossier racine de votre site.

Rédiger les chemins

  • Un chemin commence par une barre oblique et correspond à toutes les adresses qui commencent par celui-ci : /admin correspond à /admin, /admin/ et /administrator, tandis que /admin/ correspond uniquement au dossier et à son contenu.
  • Un astérisque correspond à n’importe quels caractères et un signe dollar marque la fin d’une adresse : /*.pdf$ correspond donc à tous les fichiers PDF. Google, Bing et la plupart des autres grands robots d’exploration comprennent ces deux caractères.
  • Les chemins sont sensibles à la casse : /Admin/ et /admin/ sont différents.
  • Les lignes qui ne sont pas des chemins sont exclues du fichier et affichées au-dessus, afin que vous puissiez les corriger.

Fonctionnement conjoint des règles

Un robot d’exploration suit le groupe qui le désigne le plus précisément, et uniquement celui-ci. Un robot d’exploration désigné dans l’un des groupes de l’IA ignore les règles destinées à tous les robots d’exploration et se voit entièrement bloqué. Au sein d’un groupe, le chemin correspondant le plus long l’emporte : ainsi, Allow: /admin/help/ ouvre ce dossier malgré Disallow: /admin/. Le générateur écrit les lignes Allow avant les lignes Disallow, ce qui produit le même résultat avec les anciens robots d’exploration qui appliquent la première règle correspondante.

Bloquer les robots d’exploration de l’IA

Bloquer les robots d’exploration qui entraînent l’IA empêche l’accès aux robots qui collectent des pages pour entraîner des modèles d’IA : GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (entraînement et ancrage de Gemini chez Google ; la recherche Google n’est pas concernée), Applebot-Extended (modèles d’IA d’Apple ; la recherche d’Apple n’est pas concernée), CCBot (Common Crawl, un jeu de données public utilisé pour entraîner de nombreux modèles d’IA), meta-externalagent (Meta) et Amazonbot (Amazon).

Bloquer les robots de recherche IA et les assistants empêche l’accès aux robots qui consultent des pages pour fournir des résultats de recherche IA et répondre aux questions des utilisateurs avec des assistants : OAI-SearchBot et ChatGPT-User (OpenAI), Claude-SearchBot et Claude-User (Anthropic), PerplexityBot et Perplexity-User (Perplexity), meta-webindexer et meta-externalfetcher (Meta), ainsi que Amzn-SearchBot et Amzn-User (Amazon). Les bloquer peut empêcher vos pages d’apparaître dans ces réponses de l’IA et dans les liens qu’elles contiennent. Selon leurs opérateurs, les robots qui récupèrent une page à la demande d’une personne ne respectent pas toujours robots.txt.

Chaque nom est le token user-agent que son opérateur documente pour robots.txt.

Exemple

Avec /admin/ interdit, /admin/help/ autorisé, les robots d’exploration qui entraînent l’IA bloqués et un plan de site, le fichier se présente ainsi :

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# Robots d’exploration qui entraînent l’IA
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Fonctionnalités

  • Autoriser ou bloquer tous les robots d’exploration, avec des chemins interdits et autorisés
  • Bloquer les robots d’exploration qui entraînent l’IA, ou les robots de recherche IA et les assistants, à l’aide de leurs noms documentés
  • Délai d’exploration et plans de site
  • Chemins et adresses non valides signalés
  • Copier ou télécharger robots.txt