Что такое robots.txt?

Robots.txt — это текстовый файл, который веб-сайты размещают в корневом каталоге, чтобы взаимодействовать с веб-краулерами и ботами поисковых систем. Он сообщает этим автоматизированным посетителям, к каким страницам или разделам сайта они могут или не могут получить доступ, в соответствии с протоколом исключения роботов.

Описание инструмента

Проверка robots.txt загружает файл robots.txt с веб-сайта напрямую с нашего сервера — вам не нужно самостоятельно копировать и вставлять файл. Введите URL, и сервер запросит robots.txt с указанного сайта, проанализирует его и вернёт исходное содержимое вместе с указанными в нём картами сайта, задержкой сканирования и предпочтительным хостом.

Возможности

  • Загрузка на стороне сервера: сервер запрашивает robots.txt от вашего имени, поэтому вам не нужно хранить файл локально
  • Извлечение карт сайта: отображает каждую запись Sitemap:, указанную в файле
  • Задержка сканирования и предпочтительный хост: отображает директивы Crawl-delay и Host, если они присутствуют