O que é o robots.txt?

Um arquivo robots.txt fica na raiz de um site, como em https://example.com/robots.txt, e informa aos rastreadores quais páginas eles podem acessar. Mecanismos de busca e outros bots que seguem as regras leem o arquivo antes de rastrear um site. Ele não controla o acesso: qualquer pessoa ainda pode abrir as páginas, e um bot que ignore o arquivo não será impedido por ele.

Como usar

  • Todos os rastreadores: escolha Permitir todos ou Bloquear todos. Com Permitir todos, liste em Caminhos bloqueados os caminhos que os rastreadores devem evitar, um por linha, como /admin/ ou /cart. Caminhos permitidos reabrem caminhos dentro deles, como /admin/help/. Com Bloquear todos, os rastreadores só podem acessar os caminhos permitidos.
  • Rastreadores de IA: duas caixas de seleção adicionam grupos que impedem rastreadores de IA de acessar o site inteiro (veja abaixo).
  • Outras opções: Atraso de rastreamento solicita que os rastreadores aguardem esse número de segundos entre as solicitações. Bing e Yandex seguem essa instrução; Google a ignora. URLs de sitemap lista seus sitemaps pelo endereço completo, como https://example.com/sitemap.xml.

O arquivo é atualizado enquanto você digita. Copie-o ou baixe o robots.txt e envie-o para a pasta raiz do seu site.

Escrever caminhos

  • Um caminho começa com uma barra e corresponde a todos os endereços que começam com ela: /admin corresponde a /admin, /admin/ e /administrator, enquanto /admin/ corresponde apenas à pasta e ao que estiver dentro dela.
  • Um asterisco corresponde a quaisquer caracteres, e um cifrão marca o fim de um endereço; assim, /*.pdf$ corresponde a todos os arquivos PDF. Google, Bing e a maioria dos outros grandes rastreadores entendem ambos.
  • Os caminhos diferenciam maiúsculas de minúsculas: /Admin/ e /admin/ são diferentes.
  • Linhas que não são caminhos são omitidas do arquivo e listadas acima dele para que você possa corrigi-las.

Como as regras funcionam em conjunto

Um rastreador segue o grupo que o identifica com mais especificidade, e somente esse grupo. Um rastreador mencionado em um dos grupos de IA ignora as regras para todos os rastreadores e fica totalmente bloqueado. Dentro de um grupo, prevalece o caminho correspondente mais longo; assim, Allow: /admin/help/ permite o acesso a essa pasta dentro de Disallow: /admin/. O gerador escreve as linhas Allow antes das linhas Disallow, o que produz o mesmo resultado para rastreadores mais antigos que seguem a primeira regra correspondente.

Bloquear rastreadores de IA

Bloquear rastreadores de treinamento de IA impede o acesso dos rastreadores que coletam páginas para treinar modelos de IA: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (treinamento e fundamentação do Gemini no Google; a Pesquisa Google não é afetada), Applebot-Extended (modelos de IA da Apple; a busca da Apple não é afetada), CCBot (Common Crawl, um conjunto de dados público usado para treinar muitos modelos de IA), meta-externalagent (Meta) e Amazonbot (Amazon).

Bloquear bots de busca de IA e assistentes impede o acesso dos bots que leem páginas para gerar resultados de busca com IA e para assistentes responderem às perguntas das pessoas: OAI-SearchBot e ChatGPT-User (OpenAI), Claude-SearchBot e Claude-User (Anthropic), PerplexityBot e Perplexity-User (Perplexity), meta-webindexer e meta-externalfetcher (Meta), e Amzn-SearchBot e Amzn-User (Amazon). Bloqueá-los pode fazer com que suas páginas não apareçam nessas respostas de IA nem nos links incluídos nelas. Segundo seus operadores, bots que buscam uma página a pedido de uma pessoa podem não seguir o robots.txt.

Cada nome é o token de user-agent que seu operador documenta para o robots.txt.

Exemplo

Com /admin/ bloqueado, /admin/help/ permitido, os rastreadores de treinamento de IA bloqueados e um sitemap, o arquivo fica assim:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# Rastreadores de treinamento de IA
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Recursos

  • Permitir ou bloquear todos os rastreadores, com caminhos permitidos e bloqueados
  • Bloquear rastreadores de treinamento de IA ou bots de busca de IA e assistentes pelos nomes documentados
  • Atraso de rastreamento e sitemaps
  • Caminhos e endereços inválidos sinalizados
  • Copiar ou baixar o robots.txt