Vad är robots.txt?

Robots.txt är en textfil som webbplatser placerar i sin rotkatalog för att kommunicera med webbcrawlers och sökmotorrobotar. Den anger vilka sidor eller delar av en webbplats dessa automatiserade besökare får eller inte får komma åt, enligt Robots Exclusion Protocol.

Verktygsbeskrivning

Robots.txt-kontrollen hämtar webbplatsens robots.txt direkt från vår server — du behöver inte kopiera och klistra in filen själv. Ange en URL, så begär servern robots.txt från webbplatsen, tolkar den och returnerar råinnehållet tillsammans med de sitemaps som anges i filen, dess crawl-fördröjning och föredragna värd.

Funktioner

  • Hämtning på serversidan: Servern begär robots.txt åt dig, så du behöver inte ha filen lokalt
  • Extrahering av sitemap: Visar varje Sitemap:-post som anges i filen
  • Crawl-fördröjning och föredragen värd: Visar direktiven Crawl-delay och Host när de finns