Qu’est-ce que robots.txt ?

Robots.txt est un fichier texte que les sites web placent dans leur répertoire racine afin de communiquer avec les robots d’exploration web et les robots des moteurs de recherche. Il indique à ces visiteurs automatisés quelles pages ou sections d’un site ils peuvent ou ne peuvent pas consulter, conformément au protocole d’exclusion des robots.

Description de l’outil

Le vérificateur de robots.txt récupère directement le fichier robots.txt depuis notre serveur — vous n’avez pas besoin de copier-coller le fichier vous-même. Saisissez une URL, et le serveur demande le fichier robots.txt à ce site, l’analyse, puis renvoie son contenu brut ainsi que les sitemaps qu’il déclare, son délai d’exploration et son hôte préféré.

Fonctionnalités

  • Récupération côté serveur : le serveur demande robots.txt en votre nom, vous n’avez donc pas besoin de disposer du fichier localement
  • Extraction des sitemaps : répertorie chaque entrée Sitemap: déclarée dans le fichier
  • Délai d’exploration et hôte préféré : affiche les directives Crawl-delay et Host lorsqu’elles sont présentes