Wat is robots.txt?

Robots.txt is een tekstbestand dat websites in hun hoofdmap plaatsen om te communiceren met webcrawlers en bots van zoekmachines. Het geeft deze geautomatiseerde bezoekers aan welke pagina's of secties van een website ze wel of niet mogen openen, volgens het Robots Exclusion Protocol.

Beschrijving van de tool

De Robots.txt Checker haalt robots.txt rechtstreeks van onze server op — je hoeft het bestand dus niet zelf te kopiëren en te plakken. Voer een URL in en de server vraagt robots.txt op bij die website, parseert het bestand en retourneert de onbewerkte inhoud, samen met de sitemaps die erin worden vermeld, de crawlvertraging en de voorkeurs-host.

Functies

  • Ophalen aan serverzijde: De server vraagt robots.txt namens jou op, zodat je het bestand niet lokaal nodig hebt
  • Sitemap-extractie: Geeft elke vermelding van Sitemap: in het bestand weer
  • Crawlvertraging en voorkeurs-host: Toont de directives Crawl-delay en Host wanneer deze aanwezig zijn