robots.txt nedir?

Robots.txt, web sitelerinin web tarayıcıları ve arama motoru botlarıyla iletişim kurmak için kök dizinlerine yerleştirdiği bir metin dosyasıdır. Bu otomatik ziyaretçilere, Robots Exclusion Protocol'ü izleyerek bir sitenin hangi sayfalarına veya bölümlerine erişebileceklerini ya da erişemeyeceklerini bildirir.

Araç Açıklaması

Robots.txt Denetleyicisi, bir web sitesinin robots.txt dosyasını doğrudan sunucumuzdan getirir — dosyayı kendiniz kopyalayıp yapıştırmanıza gerek yoktur. Bir URL girin; sunucu ilgili siteden robots.txt dosyasını ister, dosyayı ayrıştırır ve beyan edilen site haritalarıyla birlikte ham içeriği, tarama gecikmesini ve tercih edilen host'u döndürür.

Özellikler

  • Sunucu Taraflı Getirme: Sunucu, robots.txt dosyasını sizin adınıza ister; böylece dosyanın yerel olarak bulunmasına gerek kalmaz
  • Site Haritası Çıkarma: Dosyada beyan edilen her Sitemap: girdisini listeler
  • Tarama Gecikmesi ve Tercih Edilen Host: Mevcut olduğunda Crawl-delay ve Host yönergelerini gösterir