Vad är robots.txt?

En robots.txt-fil ligger i webbplatsens rot, till exempel https://example.com/robots.txt, och talar om för sökrobotar vilka sidor de får hämta. Sökmotorer och andra robotar som följer reglerna läser filen innan de genomsöker en webbplats. Den fungerar inte som åtkomstkontroll: vem som helst kan fortfarande öppna sidorna, och en robot som ignorerar filen hindras inte av den.

Så använder du den

  • Alla sökrobotar: välj Tillåt alla eller Blockera alla. Om du väljer Tillåt alla anger du under Otillåtna sökvägar, en per rad, vilka sökvägar robotarna ska hålla sig borta från, till exempel /admin/ eller /cart. Tillåtna sökvägar öppnar sökvägar inom dem igen, till exempel /admin/help/. Om du väljer Blockera alla är Tillåtna sökvägar de enda platser sökrobotarna får besöka.
  • AI-sökrobotar: två kryssrutor lägger till grupper som stänger ute AI-sökrobotar från hela webbplatsen (se nedan).
  • Övrigt: Genomsökningsfördröjning ber sökrobotarna vänta det angivna antalet sekunder mellan förfrågningar. Bing och Yandex följer inställningen, men Google ignorerar den. Webbplatskartornas URL:er anger du med sina fullständiga adresser, till exempel https://example.com/sitemap.xml.

Filen uppdateras medan du skriver. Kopiera den eller ladda ned robots.txt och ladda upp filen till webbplatsens rotmapp.

Så skriver du sökvägar

  • En sökväg börjar med ett snedstreck och matchar alla adresser som börjar med det: /admin matchar /admin, /admin/ och /administrator, medan /admin/ bara matchar mappen och dess innehåll.
  • En asterisk matchar vilka tecken som helst och ett dollartecken markerar slutet på en adress, så /*.pdf$ matchar alla PDF-filer. Google, Bing och de flesta andra stora sökrobotar förstår båda.
  • Sökvägar är skiftlägeskänsliga: /Admin/ och /admin/ är olika.
  • Rader som inte är sökvägar tas inte med i filen utan visas ovanför den, så att du kan rätta dem.

Så samverkar reglerna

En sökrobot följer den grupp som namnger den mest specifikt, och bara den gruppen. En sökrobot som namnges i en av AI-grupperna ignorerar reglerna för alla sökrobotar och stängs ute helt. Inom en grupp gäller den längsta matchande sökvägen, så Allow: /admin/help/ öppnar den mappen inom Disallow: /admin/. Generatorn skriver Allow-rader före Disallow-rader, vilket ger samma resultat för äldre sökrobotar som tillämpar den första matchande regeln.

Blockera AI-sökrobotar

Blockera AI-träningsrobotar stänger ute de robotar som samlar in sidor för att träna AI-modeller: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (träning och faktagrundning för Gemini hos Google; Google Sök påverkas inte), Applebot-Extended (Apples AI-modeller; Apples sökfunktion påverkas inte), CCBot (Common Crawl, en offentlig datamängd som många AI-modeller tränas på), meta-externalagent (Meta) och Amazonbot (Amazon).

Blockera AI-sök- och assistentrobotar stänger ute robotar som läser sidor för AI-sökresultat och för assistenter som besvarar frågor: OAI-SearchBot och ChatGPT-User (OpenAI), Claude-SearchBot och Claude-User (Anthropic), PerplexityBot och Perplexity-User (Perplexity), meta-webindexer och meta-externalfetcher (Meta) samt Amzn-SearchBot och Amzn-User (Amazon). Om du blockerar dem kan dina sidor uteslutas från sådana AI-svar och länkarna i dem. Enligt operatörerna följer robotar som hämtar en sida på en persons begäran eventuellt inte robots.txt.

Varje namn är den user-agent-token som operatören anger för robots.txt.

Exempel

Med /admin/ otillåten, /admin/help/ tillåten, AI-träningsrobotarna blockerade och en webbplatskarta angiven ser filen ut så här:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# AI-träningsrobotar
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Funktioner

  • Tillåt eller blockera alla sökrobotar och ange otillåtna och tillåtna sökvägar
  • Blockera AI-träningsrobotar eller AI-sök- och assistentrobotar med deras dokumenterade namn
  • Genomsökningsfördröjning och webbplatskartor
  • Ogiltiga sökvägar och adresser markeras
  • Kopiera eller ladda ned robots.txt