Czym jest robots.txt?

Robots.txt to plik tekstowy, który witryny umieszczają w swoim katalogu głównym, aby komunikować się z robotami indeksującymi i botami wyszukiwarek. Informuje on tych automatycznych użytkowników, do których stron lub sekcji witryny mogą uzyskać dostęp, a do których nie, zgodnie z Protokołem wykluczania robotów.

Opis narzędzia

Narzędzie do sprawdzania robots.txt pobiera plik robots.txt bezpośrednio z naszego serwera — nie musisz samodzielnie kopiować i wklejać pliku. Wprowadź URL, a serwer zażąda pliku robots.txt z danej witryny, przeanalizuje go i zwróci surową zawartość wraz z zadeklarowanymi mapami witryny, opóźnieniem indeksowania oraz preferowanym hostem.

Funkcje

  • Pobieranie po stronie serwera: Serwer żąda pliku robots.txt w Twoim imieniu, więc nie musisz mieć tego pliku lokalnie
  • Wyodrębnianie map witryny: Wyświetla każdy wpis Sitemap: zadeklarowany w pliku
  • Opóźnienie indeksowania i preferowany host: Wyświetla dyrektywy Crawl-delay i Host, jeśli są obecne