¿Qué es robots.txt?

Robots.txt es un archivo de texto que los sitios web colocan en su directorio raíz para comunicarse con los rastreadores web y los bots de los motores de búsqueda. Indica a estos visitantes automatizados a qué páginas o secciones de un sitio pueden o no pueden acceder, siguiendo el Protocolo de Exclusión de Robots.

Descripción de la herramienta

El Comprobador de robots.txt obtiene el archivo robots.txt de un sitio web directamente desde nuestro servidor, por lo que no es necesario copiarlo y pegarlo manualmente. Introduce una URL y el servidor solicita robots.txt a ese sitio, lo analiza y devuelve el contenido sin procesar, junto con los mapas del sitio que declara, su retraso de rastreo y su host preferido.

Características

  • Obtención desde el servidor: El servidor solicita robots.txt en tu nombre, por lo que no necesitas tener el archivo localmente
  • Extracción de mapas del sitio: Muestra cada entrada Sitemap: declarada en el archivo
  • Retraso de rastreo y host preferido: Muestra las directivas Crawl-delay y Host cuando están presentes