Hva er robots.txt?

En robots.txt-fil ligger i rotmappen på et nettsted, for eksempel på https://example.com/robots.txt, og forteller crawlere hvilke sider de kan hente. Søkemotorer og andre boter som følger reglene, leser filen før de gjennomsøker et nettsted. Den er ikke tilgangskontroll: Alle kan fortsatt åpne sidene, og en bot som ignorerer filen, blir ikke stoppet av den.

Slik bruker du den

  • Alle crawlere: Velg Tillat alle eller Blokker alle. Med Tillat alle kan du føre opp stiene crawlerne skal holde seg unna under Stier som ikke tillates, én per linje, for eksempel /admin/ eller /cart. Stier som tillates, åpner igjen stier innenfor disse, for eksempel /admin/help/. Med Blokker alle er stier som tillates, de eneste stedene crawlerne kan gå.
  • AI-crawlere: To avkrysningsbokser legger til grupper som holder AI-crawlere ute fra hele nettstedet (se nedenfor).
  • Annet: Forsinkelse mellom forespørsler ber crawlere vente det angitte antallet sekunder mellom forespørsler. Bing og Yandex følger dette, mens Google ignorerer det. URL-er til nettstedskart viser nettstedskartene dine med fullstendig adresse, for eksempel https://example.com/sitemap.xml.

Filen oppdateres mens du skriver. Kopier den, eller last ned robots.txt og last den opp til rotmappen på nettstedet ditt.

Slik skriver du stier

  • En sti begynner med en skråstrek og samsvarer med alle adresser som begynner med den: /admin samsvarer med /admin, /admin/ og /administrator, mens /admin/ bare samsvarer med mappen og innholdet i den.
  • En stjerne samsvarer med alle tegn, og et dollartegn markerer slutten på en adresse. Dermed samsvarer /*.pdf$ med alle PDF-filer. Google, Bing og de fleste andre store crawlere forstår begge deler.
  • Stier skiller mellom store og små bokstaver: /Admin/ og /admin/ er forskjellige.
  • Linjer som ikke er stier, utelates fra filen og vises over den, slik at du kan rette dem.

Slik virker reglene sammen

En crawler følger gruppen som navngir den mest spesifikt, og bare den gruppen. En crawler som er navngitt i en av AI-gruppene, ignorerer reglene for alle crawlere og stenges helt ute. Innenfor en gruppe vinner den lengste samsvarende stien, slik at Allow: /admin/help/ åpner den mappen innenfor Disallow: /admin/. Generatoren skriver Allow-linjer før Disallow-linjer, noe som gir samme resultat for eldre crawlere som bruker den første regelen som samsvarer.

Blokkering av AI-crawlere

Blokker crawlere for AI-trening stenger ute crawlerne som samler inn sider for å trene AI-modeller: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (trening av Gemini og forankring hos Google; Google Søk påvirkes ikke), Applebot-Extended (Apples AI-modeller; Apples søk påvirkes ikke), CCBot (Common Crawl, et offentlig datasett som mange AI-modeller trenes på), meta-externalagent (Meta) og Amazonbot (Amazon).

Blokker AI-søk og assistentboter stenger ute botene som leser sider for AI-søkeresultater og for assistenter som svarer på spørsmål: OAI-SearchBot og ChatGPT-User (OpenAI), Claude-SearchBot og Claude-User (Anthropic), PerplexityBot og Perplexity-User (Perplexity), meta-webindexer og meta-externalfetcher (Meta), samt Amzn-SearchBot og Amzn-User (Amazon). Hvis du blokkerer dem, kan sidene dine bli utelatt fra disse AI-svarene og lenkene i dem. Botene som henter en side fordi en person har bedt om det, følger kanskje ikke robots.txt, ifølge operatørene deres.

Hvert navn er user-agent-tokenet som operatøren dokumenterer for robots.txt.

Eksempel

Med /admin/ som ikke tillatt, /admin/help/ som tillatt, AI-treningscrawlerne blokkert og et nettstedskart ser filen slik ut:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# AI-treningscrawlere
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Funksjoner

  • Tillat eller blokker alle crawlere, med stier som ikke tillates og stier som tillates
  • Blokker AI-treningscrawlere eller AI-søk- og assistentboter med de dokumenterte navnene deres
  • Forsinkelse mellom forespørsler og nettstedskart
  • Ugyldige stier og adresser markeres
  • Kopier eller last ned robots.txt