robots.txt nedir?

robots.txt dosyası, https://example.com/robots.txt örneğinde olduğu gibi bir web sitesinin kök dizininde bulunur ve tarayıcı botlara hangi sayfaları alabileceklerini bildirir. Arama motorları ve kurallara uyan diğer botlar, bir siteyi taramadan önce bu dosyayı okur. Bu dosya erişim denetimi sağlamaz: herkes sayfaları açabilir ve dosyayı yok sayan botlar dosya tarafından durdurulmaz.

Nasıl kullanılır?

  • Tüm tarayıcı botlar: Tümüne izin ver veya Tümünü engelle seçeneklerinden birini belirleyin. Tümüne izin ver seçeneğinde, tarayıcı botların erişmemesi gereken yolları İzin verilmeyen yollar bölümüne her satıra bir yol gelecek şekilde yazın; örneğin /admin/ veya /cart. İzin verilen yollar, /admin/help/ örneğinde olduğu gibi bu yolların içindeki yolları yeniden erişime açar. Tümünü engelle seçeneğinde, tarayıcı botlar yalnızca İzin verilen yollar içindeki yerlere gidebilir.
  • Yapay zekâ tarayıcı botları: İki onay kutusu, yapay zekâ tarayıcı botlarını sitenin tamamından uzak tutan gruplar ekler (aşağıya bakın).
  • Diğer: Tarama gecikmesi, tarayıcı botlardan istekler arasında belirtilen saniye kadar beklemelerini ister. Bing ve Yandex bu kurala uyar, Google ise yok sayar. Site haritası URL'leri bölümünde site haritalarınızı tam adresleriyle listeleyin; örneğin https://example.com/sitemap.xml.

Dosya, siz yazdıkça güncellenir. Dosyayı kopyalayın veya robots.txt dosyasını indirip sitenizin kök klasörüne yükleyin.

Yolları yazma

  • Bir yol eğik çizgiyle başlar ve kendisiyle başlayan tüm adreslerle eşleşir: /admin; /admin, /admin/ ve /administrator ile eşleşirken /admin/ yalnızca klasörle ve klasörün içindekilerle eşleşir.
  • Yıldız işareti herhangi bir karakter dizisiyle eşleşir, dolar işareti ise bir adresin sonunu belirtir. Bu nedenle /*.pdf$, tüm PDF dosyalarıyla eşleşir. Google, Bing ve diğer büyük tarayıcı botların çoğu her iki işareti de anlar.
  • Yollar büyük/küçük harfe duyarlıdır: /Admin/ ve /admin/ farklıdır.
  • Yol olmayan satırlar dosyaya eklenmez ve düzeltmeniz için dosyanın üstünde listelenir.

Kurallar birlikte nasıl işler?

Bir tarayıcı bot, adını en açık biçimde belirten grubu izler ve yalnızca o grubu dikkate alır. Yapay zekâ gruplarından birinde adı geçen bir tarayıcı bot, tüm tarayıcı botlar için geçerli kuralları yok sayar ve tamamen engellenir. Bir grup içinde, eşleşen en uzun yol önceliklidir. Bu nedenle Allow: /admin/help/, Disallow: /admin/ içindeki bu klasöre erişim izni verir. Oluşturucu, Allow satırlarını Disallow satırlarından önce yazar; böylece ilk eşleşen kuralı uygulayan eski tarayıcı botlarda da aynı sonuç elde edilir.

Yapay zekâ tarayıcı botlarını engelleme

Yapay zekâ eğitimi tarayıcı botlarını engelle seçeneği, yapay zekâ modellerini eğitmek için sayfaları toplayan tarayıcı botları engeller: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (Google'da Gemini eğitimi ve temellendirmesi; Google Arama etkilenmez), Applebot-Extended (Apple'ın yapay zekâ modelleri; Apple'ın araması etkilenmez), CCBot (Common Crawl; birçok yapay zekâ modelinin eğitiminde kullanılan herkese açık bir veri kümesi), meta-externalagent (Meta) ve Amazonbot (Amazon).

Yapay zekâ arama ve asistan botlarını engelle seçeneği, yapay zekâ arama sonuçları ve birinin sorusunu yanıtlayan asistanlar için sayfaları okuyan botları engeller: OAI-SearchBot ve ChatGPT-User (OpenAI), Claude-SearchBot ve Claude-User (Anthropic), PerplexityBot ve Perplexity-User (Perplexity), meta-webindexer ve meta-externalfetcher (Meta) ile Amzn-SearchBot ve Amzn-User (Amazon). Bu botları engellemek, sayfalarınızın söz konusu yapay zekâ yanıtlarında ve bu yanıtlardaki bağlantılarda yer almasını önleyebilir. Bir kişi istediği için sayfa alan botlar robots.txt dosyasını izlemeyebilir; operatörleri böyle söylüyor.

Her ad, operatörünün robots.txt için belgelediği user-agent token'ıdır.

Örnek

/admin/ yolunun erişime kapatıldığı, /admin/help/ yoluna izin verildiği, yapay zekâ eğitim botlarının engellendiği ve bir site haritasının bulunduğu durumda dosya şöyle görünür:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# Yapay zekâ eğitim botları
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Özellikler

  • İzin verilmeyen ve izin verilen yolları belirterek tüm tarayıcı botlara izin verme veya onları engelleme
  • Yapay zekâ eğitim botlarını ya da yapay zekâ arama ve asistan botlarını belgelenmiş adlarıyla engelleme
  • Tarama gecikmesi ve site haritaları
  • Geçersiz yolları ve adresleri işaretleme
  • robots.txt dosyasını kopyalama veya indirme