Vad är robots.txt?

robots.txt är en textfil som webbplatser placerar i sin rotkatalog för att kommunicera med webbcrawlare och sökmotor‑bots. Den talar om för dessa automatiska besökare vilka sidor eller sektioner på en webbplats de får eller inte får komma åt. Filen följer Robots Exclusion Protocol, en standard som hjälper webbplatsägare att kontrollera hur deras innehåll indexeras av sökmotorer och nås av webb‑scrapare.

När en sökmotor‑bot besöker en webbplats kontrollerar den först om en robots.txt‑fil finns. Baserat på instruktionerna i filen vet boten om den får crawla specifika URL:er, vilken fördröjning den ska vänta mellan förfrågningar och var den kan hitta XML‑sitemaps för mer effektiv crawling.

Verktygsbeskrivning

Robots.txt Validator är ett online‑verktyg som hjälper dig att testa och verifiera hur robots.txt‑regler gäller för specifika URL:er. Denna robots txt‑parser låter dig klistra in robots.txt‑innehåll, ange en URL du vill kontrollera och specificera en user-agent (t.ex. Googlebot, Bingbot eller jokertecknet “*” för alla bots). Robots txt‑validator‑verktyget visar omedelbart om den angivna URL:en är tillåten eller förbjuden för den valda crawlen, vilket gör det enkelt att testa din robots txt‑fil innan den tas i produktion.

Funktioner

  • URL‑validering: Kontrollera om en specifik URL är åtkomlig för en viss user-agent enligt robots.txt‑reglerna
  • User‑Agent‑testning: Testa olika user-agents (sökmotor‑bots) mot samma URL
  • Online‑parser: Använd denna robots txt‑validator online utan någon installation eller registrering