Kontroll av robots.txt
Ange en webbplats-URL så hämtar och validerar servern dess robots.txt och visar webbplatskartor, genomsökningsfördröjning och föredragen värd.
Inmatning
Protected by Cloudflare Turnstile
Utdata
Readme
Vad är robots.txt?
Robots.txt är en textfil som webbplatser placerar i sin rotkatalog för att kommunicera med webbcrawlers och sökmotorrobotar. Den anger vilka sidor eller delar av en webbplats dessa automatiserade besökare får eller inte får komma åt, enligt Robots Exclusion Protocol.
Verktygsbeskrivning
Robots.txt-kontrollen hämtar webbplatsens robots.txt direkt från vår server — du behöver inte kopiera och klistra in filen själv. Ange en URL, så begär servern robots.txt från webbplatsen, tolkar den och returnerar råinnehållet tillsammans med de sitemaps som anges i filen, dess crawl-fördröjning och föredragna värd.
Funktioner
- Hämtning på serversidan: Servern begär
robots.txtåt dig, så du behöver inte ha filen lokalt - Extrahering av sitemap: Visar varje
Sitemap:-post som anges i filen - Crawl-fördröjning och föredragen värd: Visar direktiven
Crawl-delayochHostnär de finns