Mikä on robots.txt?

Robots.txt on tekstitiedosto, jonka verkkosivustot sijoittavat juurihakemistoonsa viestiäkseen verkkosivujen indeksoijille ja hakukoneboteille. Se kertoo näille automaattisille vierailijoille, mille sivuille tai sivuston osioihin ne voivat tai eivät voi päästä robottien poissulkemisprotokollan mukaisesti.

Työkalun kuvaus

Robots.txt-tarkistin noutaa verkkosivuston robots.txt-tiedoston suoraan palvelimeltamme — sinun ei tarvitse kopioida ja liittää tiedostoa itse. Syötä URL-osoite, niin palvelin pyytää kyseisen sivuston robots.txt-tiedoston, jäsentää sen ja palauttaa raakasisällön sekä tiedostossa ilmoitetut sivustokartat, indeksointiviiveen ja ensisijaisen palvelimen.

Ominaisuudet

  • Palvelimella noutaminen: Palvelin pyytää robots.txt-tiedoston puolestasi, joten tiedostoa ei tarvitse olla paikallisesti
  • Sivustokarttojen poiminta: Luettelee kaikki tiedostossa ilmoitetut Sitemap:-merkinnät
  • Indeksointiviive ja ensisijainen palvelin: Tuo näkyviin Crawl-delay- ja Host-direktiivit, jos ne ovat käytössä