Что такое robots.txt?

Файл robots.txt находится в корне сайта, например по адресу https://example.com/robots.txt, и сообщает поисковым роботам, какие страницы они могут запрашивать. Поисковые системы и другие добросовестные боты читают его перед обходом сайта. Это не средство контроля доступа: любой пользователь по-прежнему может открыть страницы, а бота, который игнорирует этот файл, он не остановит.

Как пользоваться

  • Все поисковые роботы: выберите «Разрешить всем» или «Запретить всем». Если выбрано «Разрешить всем», укажите в разделе «Запрещённые пути» пути, которые роботы должны обходить стороной, по одному в строке, например /admin/ или /cart. Разрешённые пути снова открывают доступ к путям внутри запрещённых, например /admin/help/. Если выбрано «Запретить всем», роботы смогут посещать только указанные разрешённые пути.
  • Роботы с ИИ: два флажка добавляют группы, которые закрывают весь сайт для роботов с ИИ (подробнее ниже).
  • Другое: параметр «Задержка обхода» задаёт количество секунд, которое роботы должны выжидать между запросами. Его учитывают Bing и Yandex, а Google игнорирует. В поле «Адреса Sitemap» укажите полные адреса файлов Sitemap, например https://example.com/sitemap.xml.

Файл обновляется по мере ввода. Скопируйте его или скачайте robots.txt и загрузите в корневую папку сайта.

Как указывать пути

  • Путь начинается с косой черты и соответствует всем адресам, которые с неё начинаются: /admin соответствует адресам /admin, /admin/ и /administrator, а /admin/ — только этой папке и её содержимому.
  • Звёздочка соответствует любым символам, а знак доллара обозначает конец адреса, поэтому /*.pdf$ соответствует всем PDF-файлам. Оба символа понимают Google, Bing и большинство других крупных поисковых роботов.
  • Пути чувствительны к регистру: /Admin/ и /admin/ — разные пути.
  • Строки, которые не являются путями, не попадают в файл и отображаются над ним, чтобы вы могли их исправить.

Как правила применяются вместе

Поисковый робот следует только той группе, в которой он указан наиболее конкретно. Робот, указанный в одной из групп для ИИ, игнорирует правила для всех роботов и полностью блокируется. Внутри группы действует самое длинное совпадение пути, поэтому Allow: /admin/help/ открывает доступ к этой папке, несмотря на Disallow: /admin/. Генератор размещает строки Allow перед строками Disallow, что даёт тот же результат для старых роботов, которые применяют первое совпавшее правило.

Блокировка роботов с ИИ

Параметр «Блокировать роботов, собирающих данные для обучения ИИ» закрывает доступ роботам, которые собирают страницы для обучения моделей ИИ: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (обучение Gemini и grounding — сопоставление с источниками в Google; на Google Search это не влияет), Applebot-Extended (модели ИИ Apple; на поиск Apple это не влияет), CCBot (Common Crawl — общедоступный набор данных, на котором обучаются многие модели ИИ), meta-externalagent (Meta) и Amazonbot (Amazon).

Параметр «Блокировать ботов для поиска с ИИ и ботов-помощников» закрывает доступ ботам, которые читают страницы для формирования результатов поиска с ИИ и ответов помощников на вопросы пользователей: OAI-SearchBot и ChatGPT-User (OpenAI), Claude-SearchBot и Claude-User (Anthropic), PerplexityBot и Perplexity-User (Perplexity), meta-webindexer и meta-externalfetcher (Meta), а также Amzn-SearchBot и Amzn-User (Amazon). Их блокировка может исключить ваши страницы из ответов этих ИИ и ссылок в них. По словам операторов, боты, которые загружают страницу по запросу пользователя, могут не соблюдать robots.txt.

Каждое имя — это значение токена user-agent, которое оператор указывает в документации для robots.txt.

Пример

Если путь /admin/ запрещён, /admin/help/ разрешён, роботы для обучения ИИ заблокированы и указан файл Sitemap, содержимое файла будет таким:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# Роботы для обучения ИИ
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Возможности

  • Разрешение или блокировка всех поисковых роботов с указанием запрещённых и разрешённых путей
  • Блокировка роботов для обучения ИИ или ботов для поиска с ИИ и помощников по указанным в документации именам
  • Задержка обхода и файлы Sitemap
  • Выделение некорректных путей и адресов
  • Копирование или скачивание robots.txt