Robots.txt-generaattori
Luo robots.txt-tiedosto, jolla voit sallia tai estää indeksointirobotteja, kieltää polkuja, luetella sivustokartat ja estää tekoälyn koulutusrobotit tai tekoälyhakujen botit. Tiedosto on valmis kopioitavaksi tai ladattavaksi.
Syöte
Tuloste
Lue lisää
Mikä on robots.txt?
robots.txt-tiedosto sijaitsee verkkosivuston juuressa, esimerkiksi osoitteessa https://example.com/robots.txt, ja kertoo indeksointiroboteille, mitä sivuja ne voivat noutaa. Hakukoneet ja muut sääntöjä noudattavat robotit lukevat sen ennen sivuston indeksointia. Se ei hallitse käyttöoikeuksia: kuka tahansa voi silti avata sivut, eikä tiedosto estä sitä sivuuttavaa robottia.
Käyttöohjeet
- Kaikki indeksointirobotit: valitse Salli kaikki tai Estä kaikki. Jos valitset Salli kaikki, luettele kohdassa Estetyt polut polut, joita indeksointirobottien tulee välttää. Lisää kukin omalle rivilleen, esimerkiksi /admin/ tai /cart. Sallitut polut avaavat niiden sisällä olevat polut uudelleen, kuten /admin/help/. Jos valitset Estä kaikki, indeksointirobotit saavat käydä vain sallituissa poluissa.
- Tekoälyrobotit: kahdella valintaruudulla voit lisätä ryhmiä, jotka estävät tekoälyrobotteja pääsemästä koko sivustolle (katso alta).
- Muut: Indeksointiviive pyytää indeksointirobotteja odottamaan määritetyn sekuntimäärän pyyntöjen välillä. Bing ja Yandex noudattavat asetusta, Google ei. Sivustokarttojen URL-osoitteet -kohtaan lisätään sivustokarttojen täydelliset osoitteet, kuten https://example.com/sitemap.xml.
Tiedosto päivittyy kirjoittaessasi. Kopioi se tai lataa robots.txt ja siirrä se sivustosi juurikansioon.
Polkujen kirjoittaminen
- Polku alkaa vinoviivalla ja vastaa kaikkia osoitteita, jotka alkavat sillä: /admin vastaa osoitteita /admin, /admin/ ja /administrator, kun taas /admin/ vastaa vain kansiota ja sen sisältöä.
- Tähti vastaa mitä tahansa merkkejä, ja dollarimerkki osoittaa osoitteen loppua. Siksi /*.pdf$ vastaa kaikkia PDF-tiedostoja. Google, Bing ja useimmat muut suuret indeksointirobotit ymmärtävät molemmat merkit.
- Polkujen kirjainkoolla on merkitystä: /Admin/ ja /admin/ ovat eri polkuja.
- Rivien sisältö, joka ei ole polku, jätetään pois tiedostosta ja näytetään sen yläpuolella, jotta voit korjata sen.
Miten säännöt toimivat yhdessä
Indeksointirobotti noudattaa sitä ryhmää, jossa se mainitaan täsmällisimmin, ja vain kyseistä ryhmää. Jos robotti mainitaan jossakin tekoälyryhmässä, se ohittaa kaikkien indeksointirobottien säännöt ja estetään kokonaan. Ryhmän sisällä pisin vastaava polku ratkaisee, joten Allow: /admin/help/ avaa kyseisen kansion Disallow: /admin/ -säännön sisällä. Generaattori kirjoittaa Allow-rivit ennen Disallow-rivejä, jolloin tulos on sama myös vanhoilla indeksointiroboteilla, jotka noudattavat ensimmäistä vastaavaa sääntöä.
Tekoälyrobottien estäminen
Estä tekoälymallien koulutusrobotit estää robotit, jotka keräävät sivuja tekoälymallien koulutusta varten: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Gemini-koulutus ja tietopohjan muodostaminen Googlessa; Google-hakuun tämä ei vaikuta), Applebot-Extended (Applen tekoälymallit; Applen hakuun tämä ei vaikuta), CCBot (Common Crawl, julkinen tietoaineisto, jota käytetään monien tekoälymallien koulutukseen), meta-externalagent (Meta) ja Amazonbot (Amazon).
Estä tekoälyhaku- ja avustajabotit estää robotit, jotka lukevat sivuja tekoälyhakutuloksia varten sekä avustajille, jotka vastaavat käyttäjien kysymyksiin: OAI-SearchBot ja ChatGPT-User (OpenAI), Claude-SearchBot ja Claude-User (Anthropic), PerplexityBot ja Perplexity-User (Perplexity), meta-webindexer ja meta-externalfetcher (Meta) sekä Amzn-SearchBot ja Amzn-User (Amazon). Niiden estäminen voi pitää sivusi poissa näiden tekoälyvastausten ja niissä olevien linkkien joukosta. Niiden ylläpitäjien mukaan robotit, jotka noutavat sivun käyttäjän pyynnöstä, eivät välttämättä noudata robots.txt-tiedostoa.
Jokainen nimi on käyttäjäagentin token, jonka ylläpitäjä on määrittänyt robots.txt-tiedostoa varten.
Esimerkki
Kun /admin/ on estetty, /admin/help/ sallittu, tekoälymallien koulutusrobotit estetty ja sivustokartta määritetty, tiedosto näyttää tältä:
User-agent: *
Allow: /admin/help/
Disallow: /admin/
# Tekoälymallien koulutusrobotit
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /
Sitemap: https://example.com/sitemap.xmlOminaisuudet
- Salli tai estä kaikki indeksointirobotit ja määritä estetyt ja sallitut polut
- Estä tekoälymallien koulutusrobotit tai tekoälyhaku- ja avustajabotit niiden dokumentoiduilla nimillä
- Indeksointiviive ja sivustokartat
- Virheelliset polut ja osoitteet merkitään
- Kopioi tai lataa robots.txt