Generator robots.txt
Utwórz plik robots.txt, który zezwala robotom na indeksowanie lub je blokuje, wyklucza ścieżki, zawiera mapy witryny i może blokować roboty zbierające dane treningowe dla AI lub boty wyszukiwarek AI. Plik jest gotowy do skopiowania lub pobrania.
Wejście
Wyjście
Instrukcja
Czym jest robots.txt?
Plik robots.txt znajduje się w katalogu głównym witryny, na przykład pod adresem https://example.com/robots.txt, i informuje roboty indeksujące, które strony mogą pobierać. Wyszukiwarki i inne boty przestrzegające zasad odczytują go przed indeksowaniem witryny. Nie jest to mechanizm kontroli dostępu: każdy nadal może otworzyć te strony, a bot, który ignoruje plik, nie zostanie przez niego zatrzymany.
Jak z niego korzystać
- Wszystkie roboty indeksujące: wybierz Zezwól wszystkim albo Zablokuj wszystkie. Po wybraniu opcji Zezwól wszystkim wpisz w polu Zablokowane ścieżki ścieżki, których roboty indeksujące mają unikać — po jednej w każdym wierszu, na przykład /admin/ lub /cart. Dozwolone ścieżki ponownie otwierają dostęp do ścieżek znajdujących się w ich obrębie, na przykład /admin/help/. Po wybraniu opcji Zablokuj wszystkie jedynymi miejscami dostępnymi dla robotów indeksujących będą Dozwolone ścieżki.
- Roboty indeksujące AI: dwa pola wyboru dodają grupy, które blokują robotom indeksującym AI dostęp do całej witryny (zobacz poniżej).
- Inne: Opóźnienie indeksowania określa, ile sekund roboty indeksujące mają czekać między żądaniami. Bing i Yandex stosują się do tej wartości, a Google ją ignoruje. Adresy URL map witryny zawierają pełne adresy map, na przykład https://example.com/sitemap.xml.
Plik jest aktualizowany podczas pisania. Skopiuj go albo pobierz robots.txt i prześlij do katalogu głównego witryny.
Zapisywanie ścieżek
- Ścieżka zaczyna się od ukośnika i pasuje do każdego adresu, który się od niej zaczyna: /admin pasuje do /admin, /admin/ i /administrator, natomiast /admin/ pasuje tylko do tego katalogu i jego zawartości.
- Gwiazdka oznacza dowolne znaki, a znak dolara wskazuje koniec adresu, więc /*.pdf$ pasuje do każdego pliku PDF. Google, Bing i większość innych głównych robotów indeksujących rozumieją oba te znaki.
- Wielkość liter w ścieżkach ma znaczenie: /Admin/ i /admin/ to różne ścieżki.
- Wiersze, które nie są ścieżkami, są pomijane w pliku i wyświetlane nad nim, aby można je było poprawić.
Jak działają reguły
Robot indeksujący stosuje grupę, której nazwa najdokładniej do niego pasuje, i tylko tę grupę. Robot wymieniony w jednej z grup AI ignoruje reguły dla wszystkich robotów indeksujących i zostaje całkowicie zablokowany. W obrębie grupy wygrywa najdłuższa pasująca ścieżka, więc Allow: /admin/help/ otwiera ten katalog w ramach Disallow: /admin/. Generator umieszcza wiersze Allow przed wierszami Disallow, co daje ten sam wynik w przypadku starszych robotów indeksujących, które stosują pierwszą pasującą regułę.
Blokowanie robotów indeksujących AI
Blokuj roboty indeksujące zbierające dane do trenowania AI blokuje roboty indeksujące, które zbierają strony do trenowania modeli AI: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (trenowanie Gemini i ugruntowywanie odpowiedzi danymi w Google; nie ma to wpływu na Google Search), Applebot-Extended (modele AI Apple; nie ma to wpływu na wyszukiwarkę Apple), CCBot (Common Crawl, publiczny zbiór danych wykorzystywany do trenowania wielu modeli AI), meta-externalagent (Meta) i Amazonbot (Amazon).
Blokuj boty wyszukiwania AI i asystentów blokuje boty, które odczytują strony na potrzeby wyników wyszukiwania AI oraz asystentów odpowiadających na pytania użytkowników: OAI-SearchBot i ChatGPT-User (OpenAI), Claude-SearchBot i Claude-User (Anthropic), PerplexityBot i Perplexity-User (Perplexity), meta-webindexer i meta-externalfetcher (Meta), a także Amzn-SearchBot i Amzn-User (Amazon). Ich zablokowanie może sprawić, że Twoje strony nie będą pojawiać się w tych odpowiedziach AI ani w zamieszczanych w nich linkach. Zgodnie z informacjami operatorów boty pobierające stronę na prośbę użytkownika mogą nie stosować się do robots.txt.
Każda nazwa to token user-agent udokumentowany przez danego operatora na potrzeby robots.txt.
Przykład
Przy zablokowanej ścieżce /admin/, dozwolonej ścieżce /admin/help/, zablokowanych robotach indeksujących zbierających dane do trenowania AI i mapie witryny plik wygląda następująco:
User-agent: *
Allow: /admin/help/
Disallow: /admin/
# Roboty indeksujące zbierające dane do trenowania AI
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /
Sitemap: https://example.com/sitemap.xmlFunkcje
- Zezwalanie wszystkim robotom indeksującym na dostęp lub blokowanie im dostępu, z możliwością określenia dozwolonych i zablokowanych ścieżek
- Blokowanie robotów indeksujących zbierających dane do trenowania AI albo botów wyszukiwania AI i asystentów według udokumentowanych nazw
- Opóźnienie indeksowania i mapy witryny
- Oznaczanie nieprawidłowych ścieżek i adresów
- Kopiowanie lub pobieranie robots.txt