O que é o robots.txt?

O robots.txt é um arquivo de texto que os sites colocam no diretório raiz para se comunicar com rastreadores da web e bots de mecanismos de pesquisa. Ele informa a esses visitantes automatizados quais páginas ou seções de um site eles podem ou não acessar, seguindo o Protocolo de Exclusão de Robots.

Descrição da ferramenta

O Verificador de robots.txt busca o arquivo robots.txt de um site diretamente do nosso servidor — não é necessário copiar e colar o arquivo manualmente. Insira uma URL, e o servidor solicitará o arquivo robots.txt desse site, analisará seu conteúdo e retornará o conteúdo bruto, juntamente com os sitemaps declarados, o atraso de rastreamento e o host preferencial.

Recursos

  • Busca no servidor: o servidor solicita o arquivo robots.txt em seu nome, portanto você não precisa ter o arquivo localmente
  • Extração de sitemaps: lista todas as entradas Sitemap: declaradas no arquivo
  • Atraso de rastreamento e host preferencial: exibe as diretivas Crawl-delay e Host quando presentes