Was ist robots.txt?

Robots.txt ist eine Textdatei, die Websites in ihrem Stammverzeichnis ablegen, um Webcrawler und Suchmaschinen-Bots zu informieren. Sie gibt diesen automatisierten Besuchern an, auf welche Seiten oder Bereiche einer Website sie zugreifen dürfen oder nicht, gemäß dem Protokoll zum Ausschluss von Robots.

Beschreibung des Tools

Der Robots.txt-Checker ruft eine Website-robots.txt direkt von unserem Server ab – Sie müssen die Datei nicht selbst kopieren und einfügen. Geben Sie eine URL ein. Der Server fordert robots.txt von dieser Website an, analysiert sie und gibt den Rohinhalt zusammen mit den darin angegebenen Sitemaps, dem Crawl-Delay und dem bevorzugten Host zurück.

Funktionen

  • Abruf über den Server: Der Server fordert robots.txt in Ihrem Namen an, sodass Sie die Datei nicht lokal benötigen
  • Sitemap-Extraktion: Listet jeden in der Datei angegebenen Sitemap:-Eintrag auf
  • Crawl-Delay und bevorzugter Host: Zeigt die Direktiven Crawl-delay und Host an, sofern vorhanden