Generatore di robots.txt
Crea un file robots.txt per consentire o bloccare i crawler, vietare percorsi, elencare le sitemap e bloccare i crawler di addestramento dell'IA o i bot di ricerca basati sull'IA. Il file è pronto da copiare o scaricare.
Input
Output
Leggimi
Che cos’è robots.txt?
Un file robots.txt si trova nella directory principale di un sito web, ad esempio https://example.com/robots.txt, e indica ai crawler quali pagine possono recuperare. I motori di ricerca e gli altri bot che rispettano le regole lo leggono prima di eseguire la scansione di un sito. Non è un sistema di controllo degli accessi: chiunque può comunque aprire le pagine e il file non può fermare i bot che lo ignorano.
Come si usa
- Tutti i crawler: scegli Consenti tutti o Blocca tutti. Se scegli Consenti tutti, elenca in Percorsi non consentiti i percorsi da cui i crawler devono tenersi alla larga, uno per riga, ad esempio /admin/ o /cart. I percorsi consentiti riaprono quelli al loro interno, ad esempio /admin/help/. Se scegli Blocca tutti, i crawler possono visitare solo i percorsi consentiti.
- Crawler AI: due caselle di controllo aggiungono gruppi che tengono i crawler AI fuori dall’intero sito (vedi sotto).
- Altro: Ritardo scansione indica ai crawler di attendere quel numero di secondi tra una richiesta e l’altra. Bing e Yandex lo rispettano, Google lo ignora. URL delle sitemap elenca le sitemap con il loro indirizzo completo, ad esempio https://example.com/sitemap.xml.
Il file si aggiorna mentre scrivi. Copialo oppure scarica robots.txt e caricalo nella directory principale del tuo sito.
Scrivere i percorsi
- Un percorso inizia con una barra e corrisponde a ogni indirizzo che inizia con essa: /admin corrisponde a /admin, /admin/ e /administrator, mentre /admin/ corrisponde solo alla cartella e al suo contenuto.
- Un asterisco corrisponde a qualsiasi carattere e un simbolo del dollaro indica la fine di un indirizzo, quindi /*.pdf$ corrisponde a tutti i file PDF. Google, Bing e la maggior parte degli altri crawler principali riconoscono entrambi.
- I percorsi distinguono tra maiuscole e minuscole: /Admin/ e /admin/ sono diversi.
- Le righe che non sono percorsi vengono escluse dal file e mostrate sopra di esso, così puoi correggerle.
Come interagiscono le regole
Un crawler segue il gruppo che lo identifica in modo più specifico e solo quel gruppo. Un crawler indicato in uno dei gruppi AI ignora le regole per tutti i crawler e viene escluso completamente. All’interno di un gruppo, prevale il percorso corrispondente più lungo: quindi Allow: /admin/help/ riapre quella cartella all’interno di Disallow: /admin/. Il generatore inserisce le righe Allow prima delle righe Disallow, ottenendo lo stesso risultato anche con i crawler meno recenti che applicano la prima regola corrispondente.
Bloccare i crawler AI
Blocca i crawler che raccolgono dati per l’addestramento AI esclude i crawler che raccolgono pagine per addestrare modelli AI: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (addestramento e grounding di Gemini su Google; Google Search non è interessato), Applebot-Extended (modelli AI di Apple; la ricerca di Apple non è interessata), CCBot (Common Crawl, un set di dati pubblico usato per addestrare molti modelli AI), meta-externalagent (Meta) e Amazonbot (Amazon).
Blocca i bot di ricerca AI e gli assistenti esclude i bot che leggono le pagine per fornire risultati di ricerca AI e per rispondere alle domande degli utenti tramite gli assistenti: OAI-SearchBot e ChatGPT-User (OpenAI), Claude-SearchBot e Claude-User (Anthropic), PerplexityBot e Perplexity-User (Perplexity), meta-webindexer e meta-externalfetcher (Meta), nonché Amzn-SearchBot e Amzn-User (Amazon). Bloccarli può impedire che le tue pagine compaiano nelle risposte generate da questi sistemi AI e nei link che contengono. I gestori dichiarano che i bot che recuperano una pagina su richiesta di una persona potrebbero non rispettare robots.txt.
Ogni nome è il token user-agent che il relativo gestore documenta per robots.txt.
Esempio
Con /admin/ non consentito, /admin/help/ consentito, i crawler che raccolgono dati per l’addestramento AI bloccati e una sitemap, il file risulta così:
User-agent: *
Allow: /admin/help/
Disallow: /admin/
# Crawler AI per l’addestramento
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /
Sitemap: https://example.com/sitemap.xmlFunzionalità
- Consenti o blocca tutti i crawler, specificando percorsi consentiti e non consentiti
- Blocca i crawler che raccolgono dati per l’addestramento AI oppure i bot di ricerca AI e gli assistenti, usando i nomi documentati
- Ritardo scansione e sitemap
- Percorsi e indirizzi non validi segnalati
- Copia o scarica robots.txt