Robots.txt-generator
Maak een robots.txt-bestand waarmee je crawlers toestaat of blokkeert, paden uitsluit en je sitemaps vermeldt. Je kunt ook crawlers voor AI-training of AI-zoekbots blokkeren. Klaar om te kopiëren of te downloaden.
Invoer
Uitvoer
Readme
Wat is robots.txt?
Een robots.txt-bestand staat in de hoofdmap van een website, zoals op https://example.com/robots.txt, en vertelt crawlers welke pagina's ze mogen ophalen. Zoekmachines en andere bots die zich aan de regels houden, lezen het bestand voordat ze een website crawlen. Het is geen toegangsbeheer: iedereen kan de pagina's nog steeds openen en een bot die het bestand negeert, wordt er niet door tegengehouden.
Zo gebruik je het
- Alle crawlers: kies Alles toestaan of Alles blokkeren. Geef bij Alles toestaan onder Niet-toegestane paden de paden op die crawlers moeten vermijden, één per regel, zoals /admin/ of /cart. Met Toegestane paden maak je paden daarbinnen weer toegankelijk, zoals /admin/help/. Bij Alles blokkeren zijn de toegestane paden de enige plekken waar crawlers naartoe mogen.
- AI-crawlers: met twee selectievakjes voeg je groepen toe die AI-crawlers van de hele website weren (zie hieronder).
- Overig: Met Crawlvertraging geef je aan hoeveel seconden crawlers tussen verzoeken moeten wachten. Bing en Yandex houden zich hieraan, Google negeert deze instelling. Bij Sitemap-URL's vermeld je de volledige adressen van je sitemaps, zoals https://example.com/sitemap.xml.
Het bestand wordt bijgewerkt terwijl je typt. Kopieer het of download robots.txt en upload het naar de hoofdmap van je website.
Paden schrijven
- Een pad begint met een schuine streep en komt overeen met elk adres dat ermee begint: /admin komt overeen met /admin, /admin/ en /administrator, terwijl /admin/ alleen overeenkomt met de map en de inhoud ervan.
- Een sterretje komt overeen met willekeurige tekens en een dollarteken markeert het einde van een adres. Zo komt /*.pdf$ overeen met elk PDF-bestand. Google, Bing en de meeste andere grote crawlers begrijpen beide tekens.
- Paden zijn hoofdlettergevoelig: /Admin/ en /admin/ zijn verschillend.
- Regels die geen paden zijn, worden niet in het bestand opgenomen en erboven vermeld, zodat je ze kunt corrigeren.
Hoe de regels samenwerken
Een crawler volgt de groep waarin hij het meest specifiek wordt genoemd, en alleen die groep. Een crawler die in een van de AI-groepen wordt genoemd, negeert de regels voor alle crawlers en wordt volledig buitengesloten. Binnen een groep heeft het langste overeenkomende pad voorrang. Zo opent Allow: /admin/help/ die map binnen Disallow: /admin/. De generator schrijft Allow-regels vóór Disallow-regels, wat hetzelfde resultaat oplevert voor oudere crawlers die de eerste overeenkomende regel toepassen.
AI-crawlers blokkeren
AI-trainingscrawlers blokkeren weert de crawlers die pagina's verzamelen om AI-modellen te trainen: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (voor Gemini-training en grounding bij Google; Google Zoeken wordt niet beïnvloed), Applebot-Extended (de AI-modellen van Apple; de zoekfunctie van Apple wordt niet beïnvloed), CCBot (Common Crawl, een openbare dataset waarmee veel AI-modellen worden getraind), meta-externalagent (Meta) en Amazonbot (Amazon).
AI-zoek- en assistentbots blokkeren weert de bots die pagina's lezen voor AI-zoekresultaten en voor assistenten die iemands vragen beantwoorden: OAI-SearchBot en ChatGPT-User (OpenAI), Claude-SearchBot en Claude-User (Anthropic), PerplexityBot en Perplexity-User (Perplexity), meta-webindexer en meta-externalfetcher (Meta), en Amzn-SearchBot en Amzn-User (Amazon). Door ze te blokkeren, kunnen je pagina's buiten die AI-antwoorden en de links daarin blijven. Volgens hun beheerders volgen bots die een pagina ophalen op verzoek van iemand mogelijk niet het robots.txt-bestand.
Elke naam is de user-agent-token die de betreffende beheerder documenteert voor robots.txt.
Voorbeeld
Met /admin/ als niet-toegestaan pad, /admin/help/ als toegestaan pad, geblokkeerde AI-trainingscrawlers en een sitemap, ziet het bestand er als volgt uit:
User-agent: *
Allow: /admin/help/
Disallow: /admin/
# AI-trainingscrawlers
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /
Sitemap: https://example.com/sitemap.xmlFuncties
- Alle crawlers toestaan of blokkeren, met niet-toegestane en toegestane paden
- AI-trainingscrawlers of AI-zoek- en assistentbots blokkeren op basis van hun gedocumenteerde namen
- Crawlvertraging en sitemaps
- Ongeldige paden en adressen worden gemarkeerd
- robots.txt kopiëren of downloaden