Che cos’è robots.txt?

Un file robots.txt si trova nella directory principale di un sito web, ad esempio https://example.com/robots.txt, e indica ai crawler quali pagine possono recuperare. I motori di ricerca e gli altri bot che rispettano le regole lo leggono prima di eseguire la scansione di un sito. Non è un sistema di controllo degli accessi: chiunque può comunque aprire le pagine e il file non può fermare i bot che lo ignorano.

Come si usa

  • Tutti i crawler: scegli Consenti tutti o Blocca tutti. Se scegli Consenti tutti, elenca in Percorsi non consentiti i percorsi da cui i crawler devono tenersi alla larga, uno per riga, ad esempio /admin/ o /cart. I percorsi consentiti riaprono quelli al loro interno, ad esempio /admin/help/. Se scegli Blocca tutti, i crawler possono visitare solo i percorsi consentiti.
  • Crawler AI: due caselle di controllo aggiungono gruppi che tengono i crawler AI fuori dall’intero sito (vedi sotto).
  • Altro: Ritardo scansione indica ai crawler di attendere quel numero di secondi tra una richiesta e l’altra. Bing e Yandex lo rispettano, Google lo ignora. URL delle sitemap elenca le sitemap con il loro indirizzo completo, ad esempio https://example.com/sitemap.xml.

Il file si aggiorna mentre scrivi. Copialo oppure scarica robots.txt e caricalo nella directory principale del tuo sito.

Scrivere i percorsi

  • Un percorso inizia con una barra e corrisponde a ogni indirizzo che inizia con essa: /admin corrisponde a /admin, /admin/ e /administrator, mentre /admin/ corrisponde solo alla cartella e al suo contenuto.
  • Un asterisco corrisponde a qualsiasi carattere e un simbolo del dollaro indica la fine di un indirizzo, quindi /*.pdf$ corrisponde a tutti i file PDF. Google, Bing e la maggior parte degli altri crawler principali riconoscono entrambi.
  • I percorsi distinguono tra maiuscole e minuscole: /Admin/ e /admin/ sono diversi.
  • Le righe che non sono percorsi vengono escluse dal file e mostrate sopra di esso, così puoi correggerle.

Come interagiscono le regole

Un crawler segue il gruppo che lo identifica in modo più specifico e solo quel gruppo. Un crawler indicato in uno dei gruppi AI ignora le regole per tutti i crawler e viene escluso completamente. All’interno di un gruppo, prevale il percorso corrispondente più lungo: quindi Allow: /admin/help/ riapre quella cartella all’interno di Disallow: /admin/. Il generatore inserisce le righe Allow prima delle righe Disallow, ottenendo lo stesso risultato anche con i crawler meno recenti che applicano la prima regola corrispondente.

Bloccare i crawler AI

Blocca i crawler che raccolgono dati per l’addestramento AI esclude i crawler che raccolgono pagine per addestrare modelli AI: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (addestramento e grounding di Gemini su Google; Google Search non è interessato), Applebot-Extended (modelli AI di Apple; la ricerca di Apple non è interessata), CCBot (Common Crawl, un set di dati pubblico usato per addestrare molti modelli AI), meta-externalagent (Meta) e Amazonbot (Amazon).

Blocca i bot di ricerca AI e gli assistenti esclude i bot che leggono le pagine per fornire risultati di ricerca AI e per rispondere alle domande degli utenti tramite gli assistenti: OAI-SearchBot e ChatGPT-User (OpenAI), Claude-SearchBot e Claude-User (Anthropic), PerplexityBot e Perplexity-User (Perplexity), meta-webindexer e meta-externalfetcher (Meta), nonché Amzn-SearchBot e Amzn-User (Amazon). Bloccarli può impedire che le tue pagine compaiano nelle risposte generate da questi sistemi AI e nei link che contengono. I gestori dichiarano che i bot che recuperano una pagina su richiesta di una persona potrebbero non rispettare robots.txt.

Ogni nome è il token user-agent che il relativo gestore documenta per robots.txt.

Esempio

Con /admin/ non consentito, /admin/help/ consentito, i crawler che raccolgono dati per l’addestramento AI bloccati e una sitemap, il file risulta così:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# Crawler AI per l’addestramento
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Funzionalità

  • Consenti o blocca tutti i crawler, specificando percorsi consentiti e non consentiti
  • Blocca i crawler che raccolgono dati per l’addestramento AI oppure i bot di ricerca AI e gli assistenti, usando i nomi documentati
  • Ritardo scansione e sitemap
  • Percorsi e indirizzi non validi segnalati
  • Copia o scarica robots.txt