Генератор robots.txt
Создайте файл robots.txt, чтобы разрешать или блокировать обход сайта поисковыми роботами, запрещать доступ к путям и указывать карты сайта. Можно также блокировать роботов для обучения ИИ или поиска с помощью ИИ. Файл готов к копированию или скачиванию.
Ввод
Вывод
Документация
Что такое robots.txt?
Файл robots.txt находится в корне сайта, например по адресу https://example.com/robots.txt, и сообщает поисковым роботам, какие страницы они могут запрашивать. Поисковые системы и другие добросовестные боты читают его перед обходом сайта. Это не средство контроля доступа: любой пользователь по-прежнему может открыть страницы, а бота, который игнорирует этот файл, он не остановит.
Как пользоваться
- Все поисковые роботы: выберите «Разрешить всем» или «Запретить всем». Если выбрано «Разрешить всем», укажите в разделе «Запрещённые пути» пути, которые роботы должны обходить стороной, по одному в строке, например /admin/ или /cart. Разрешённые пути снова открывают доступ к путям внутри запрещённых, например /admin/help/. Если выбрано «Запретить всем», роботы смогут посещать только указанные разрешённые пути.
- Роботы с ИИ: два флажка добавляют группы, которые закрывают весь сайт для роботов с ИИ (подробнее ниже).
- Другое: параметр «Задержка обхода» задаёт количество секунд, которое роботы должны выжидать между запросами. Его учитывают Bing и Yandex, а Google игнорирует. В поле «Адреса Sitemap» укажите полные адреса файлов Sitemap, например https://example.com/sitemap.xml.
Файл обновляется по мере ввода. Скопируйте его или скачайте robots.txt и загрузите в корневую папку сайта.
Как указывать пути
- Путь начинается с косой черты и соответствует всем адресам, которые с неё начинаются: /admin соответствует адресам /admin, /admin/ и /administrator, а /admin/ — только этой папке и её содержимому.
- Звёздочка соответствует любым символам, а знак доллара обозначает конец адреса, поэтому /*.pdf$ соответствует всем PDF-файлам. Оба символа понимают Google, Bing и большинство других крупных поисковых роботов.
- Пути чувствительны к регистру: /Admin/ и /admin/ — разные пути.
- Строки, которые не являются путями, не попадают в файл и отображаются над ним, чтобы вы могли их исправить.
Как правила применяются вместе
Поисковый робот следует только той группе, в которой он указан наиболее конкретно. Робот, указанный в одной из групп для ИИ, игнорирует правила для всех роботов и полностью блокируется. Внутри группы действует самое длинное совпадение пути, поэтому Allow: /admin/help/ открывает доступ к этой папке, несмотря на Disallow: /admin/. Генератор размещает строки Allow перед строками Disallow, что даёт тот же результат для старых роботов, которые применяют первое совпавшее правило.
Блокировка роботов с ИИ
Параметр «Блокировать роботов, собирающих данные для обучения ИИ» закрывает доступ роботам, которые собирают страницы для обучения моделей ИИ: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (обучение Gemini и grounding — сопоставление с источниками в Google; на Google Search это не влияет), Applebot-Extended (модели ИИ Apple; на поиск Apple это не влияет), CCBot (Common Crawl — общедоступный набор данных, на котором обучаются многие модели ИИ), meta-externalagent (Meta) и Amazonbot (Amazon).
Параметр «Блокировать ботов для поиска с ИИ и ботов-помощников» закрывает доступ ботам, которые читают страницы для формирования результатов поиска с ИИ и ответов помощников на вопросы пользователей: OAI-SearchBot и ChatGPT-User (OpenAI), Claude-SearchBot и Claude-User (Anthropic), PerplexityBot и Perplexity-User (Perplexity), meta-webindexer и meta-externalfetcher (Meta), а также Amzn-SearchBot и Amzn-User (Amazon). Их блокировка может исключить ваши страницы из ответов этих ИИ и ссылок в них. По словам операторов, боты, которые загружают страницу по запросу пользователя, могут не соблюдать robots.txt.
Каждое имя — это значение токена user-agent, которое оператор указывает в документации для robots.txt.
Пример
Если путь /admin/ запрещён, /admin/help/ разрешён, роботы для обучения ИИ заблокированы и указан файл Sitemap, содержимое файла будет таким:
User-agent: *
Allow: /admin/help/
Disallow: /admin/
# Роботы для обучения ИИ
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /
Sitemap: https://example.com/sitemap.xmlВозможности
- Разрешение или блокировка всех поисковых роботов с указанием запрещённых и разрешённых путей
- Блокировка роботов для обучения ИИ или ботов для поиска с ИИ и помощников по указанным в документации именам
- Задержка обхода и файлы Sitemap
- Выделение некорректных путей и адресов
- Копирование или скачивание robots.txt