Wat is robots.txt?

Robots.txt is een tekstbestand dat websites in hun hoofdmap plaatsen om te communiceren met webcrawlers en zoekmachine‑bots. Het vertelt deze geautomatiseerde bezoekers welke pagina’s of secties van een site ze wel of niet mogen benaderen. Dit bestand volgt het Robots Exclusion Protocol, een standaard die site‑eigenaren helpt te bepalen hoe hun inhoud wordt geïndexeerd door zoekmachines en benaderd door web‑scrapers.

Wanneer een zoekmachine‑bot een website bezoekt, controleert hij eerst op het robots.txt‑bestand. Op basis van de instructies in dit bestand weet de bot of hij specifieke URL’s mag crawlen, welke vertraging hij moet aanhouden tussen verzoeken, en waar hij XML‑sitemaps kan vinden voor efficiënter crawlen.

Toolbeschrijving

De Robots.txt Validator is een online tool die je helpt testen en verifiëren hoe robots.txt‑regels van toepassing zijn op specifieke URL’s. Deze robots‑txt‑parser laat je robots.txt‑inhoud plakken, een URL invoeren die je wilt controleren, en een user‑agent opgeven (zoals Googlebot, Bingbot, of de wildcard “*” voor alle bots). De robots‑txt‑validator tool geeft onmiddellijk aan of die URL is toegestaan of verboden voor de opgegeven crawler, waardoor je je robots.txt‑bestand eenvoudig kunt testen voordat je het in productie neemt.

Functies

  • URL‑validatie: Controleer of een specifieke URL toegankelijk is voor een bepaalde user‑agent volgens de robots.txt‑regels
  • User‑Agent‑test: Test verschillende user‑agents (zoekmachine‑bots) tegen dezelfde URL
  • Online parser: Gebruik deze robots‑txt‑validator online zonder installatie of registratie