Was ist robots.txt?

Eine robots.txt-Datei liegt im Stammverzeichnis einer Website, zum Beispiel unter https://example.com/robots.txt, und teilt Crawlern mit, welche Seiten sie abrufen dürfen. Suchmaschinen und andere regelkonforme Bots lesen sie, bevor sie eine Website durchsuchen. Sie dient nicht der Zugriffskontrolle: Jeder kann die Seiten weiterhin öffnen, und ein Bot, der die Datei ignoriert, wird dadurch nicht aufgehalten.

So wird die Datei verwendet

  • Alle Crawler: Wählen Sie „Alle zulassen“ oder „Alle blockieren“. Wenn Sie „Alle zulassen“ wählen, listen Sie unter „Nicht zulässige Pfade“ die Pfade auf, die Crawler nicht aufrufen sollen – einen pro Zeile, zum Beispiel /admin/ oder /cart. Unter „Zulässige Pfade“ angegebene Pfade geben darin enthaltene Pfade wieder frei, zum Beispiel /admin/help/. Wenn Sie „Alle blockieren“ wählen, dürfen Crawler nur die unter „Zulässige Pfade“ aufgeführten Bereiche aufrufen.
  • KI-Crawler: Mit zwei Kontrollkästchen können Sie Gruppen hinzufügen, die KI-Crawler von der gesamten Website fernhalten (siehe unten).
  • Sonstiges: Mit der Crawling-Verzögerung legen Sie fest, wie viele Sekunden Crawler zwischen Anfragen warten sollen. Bing und Yandex halten sich daran, Google ignoriert die Angabe. Unter Sitemap-URLs geben Sie die vollständigen Adressen Ihrer Sitemaps an, zum Beispiel https://example.com/sitemap.xml.

Die Datei wird während der Eingabe aktualisiert. Kopieren Sie sie oder laden Sie robots.txt herunter und laden Sie die Datei in das Stammverzeichnis Ihrer Website hoch.

Pfade schreiben

  • Ein Pfad beginnt mit einem Schrägstrich und stimmt mit jeder Adresse überein, die damit beginnt: /admin stimmt mit /admin, /admin/ und /administrator überein, während /admin/ nur mit dem Ordner und dessen Inhalt übereinstimmt.
  • Ein Sternchen steht für beliebige Zeichen, und ein Dollarzeichen markiert das Ende einer Adresse. Daher stimmt /*.pdf$ mit jeder PDF-Datei überein. Google, Bing und die meisten anderen großen Crawler verstehen beide Zeichen.
  • Bei Pfaden wird zwischen Groß- und Kleinschreibung unterschieden: /Admin/ und /admin/ sind unterschiedlich.
  • Zeilen, die keine Pfade enthalten, werden aus der Datei ausgelassen und darüber aufgelistet, damit Sie sie korrigieren können.

So wirken die Regeln zusammen

Ein Crawler folgt der Gruppe, in der er am spezifischsten genannt wird, und nur dieser Gruppe. Ein Crawler, der in einer der KI-Gruppen genannt wird, ignoriert die Regeln für alle Crawler und wird vollständig ausgeschlossen. Innerhalb einer Gruppe gilt der längste passende Pfad. So gibt Allow: /admin/help/ diesen Ordner innerhalb von Disallow: /admin/ frei. Der Generator schreibt Allow-Zeilen vor Disallow-Zeilen. Das führt bei älteren Crawlern, die die erste passende Regel anwenden, zum selben Ergebnis.

KI-Crawler blockieren

KI-Trainings-Crawler blockieren hält Crawler fern, die Seiten zum Trainieren von KI-Modellen sammeln: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini-Training und Grounding bei Google; die Google-Suche ist nicht betroffen), Applebot-Extended (KI-Modelle von Apple; die Apple-Suche ist nicht betroffen), CCBot (Common Crawl, ein öffentlicher Datensatz, mit dem viele KI-Modelle trainiert werden), meta-externalagent (Meta) und Amazonbot (Amazon).

KI-Such- und Assistenten-Bots blockieren hält Bots fern, die Seiten für KI-Suchergebnisse und für Assistenten abrufen, die Fragen beantworten: OAI-SearchBot und ChatGPT-User (OpenAI), Claude-SearchBot und Claude-User (Anthropic), PerplexityBot und Perplexity-User (Perplexity), meta-webindexer und meta-externalfetcher (Meta) sowie Amzn-SearchBot und Amzn-User (Amazon). Wenn Sie diese Bots blockieren, erscheinen Ihre Seiten möglicherweise nicht in den Antworten dieser KI-Dienste und den darin enthaltenen Links. Laut ihren Betreibern halten sich Bots, die eine Seite auf Anfrage einer Person abrufen, möglicherweise nicht an robots.txt.

Jeder Name ist das User-Agent-Token, das der jeweilige Betreiber für robots.txt dokumentiert.

Beispiel

Wenn /admin/ nicht zulässig ist, /admin/help/ zulässig ist, die KI-Trainings-Crawler blockiert sind und eine Sitemap angegeben ist, sieht die Datei so aus:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# KI-Trainings-Crawler
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Funktionen

  • Alle Crawler zulassen oder blockieren, mit nicht zulässigen und zulässigen Pfaden
  • KI-Trainings-Crawler oder KI-Such- und Assistenten-Bots anhand ihrer dokumentierten Namen blockieren
  • Crawling-Verzögerung und Sitemaps
  • Ungültige Pfade und Adressen werden gekennzeichnet
  • robots.txt kopieren oder herunterladen