Hva er robots.txt?

Robots.txt er en tekstfil som nettsteder plasserer i rotkatalogen for å kommunisere med webcrawlere og søkemotorroboter. Den forteller disse automatiserte besøkende hvilke sider eller deler av et nettsted de kan eller ikke kan få tilgang til, i henhold til Robots Exclusion Protocol.

Verktøybeskrivelse

Robots.txt-kontrollen henter nettstedets robots.txt direkte fra serveren vår - du trenger ikke å kopiere og lime inn filen selv. Skriv inn en URL, så ber serveren om robots.txt fra nettstedet, analyserer den og returnerer råinnholdet sammen med sitemaps som er angitt i filen, crawl-forsinkelsen og den foretrukne verten.

Funksjoner

  • Henting på serversiden: Serveren ber om robots.txt på dine vegne, slik at du ikke trenger filen lokalt
  • Uttrekking av sitemaps: Viser alle Sitemap:-oppføringer som er angitt i filen
  • Crawl-forsinkelse og foretrukket vert: Viser Crawl-delay- og Host-direktivene når de finnes