Generador de robots.txt
Crea un archivo robots.txt que permite o bloquea rastreadores, restringe rutas, enumera tus mapas del sitio y puede bloquear rastreadores de entrenamiento de IA o bots de búsqueda con IA. Puedes copiarlo o descargarlo.
Entrada
Salida
Leerme
¿Qué es robots.txt?
Un archivo robots.txt se encuentra en la raíz de un sitio web, como en https://example.com/robots.txt, e indica a los rastreadores qué páginas pueden visitar. Los motores de búsqueda y otros bots que respetan las reglas lo leen antes de rastrear un sitio. No es un mecanismo de control de acceso: cualquiera puede abrir las páginas y el archivo no detiene a los bots que lo ignoran.
Cómo usarlo
- Todos los rastreadores: elige Permitir todos o Bloquear todos. Si eliges Permitir todos, indica en Rutas no permitidas las rutas a las que los rastreadores no deben acceder, una por línea, como /admin/ o /cart. Las rutas permitidas vuelven a habilitar las rutas que contienen, como /admin/help/. Si eliges Bloquear todos, las rutas permitidas son los únicos lugares a los que pueden acceder los rastreadores.
- Rastreadores de IA: dos casillas de verificación añaden grupos que impiden que los rastreadores de IA accedan a todo el sitio (consulta más abajo).
- Otros: el retraso de rastreo indica a los rastreadores cuántos segundos deben esperar entre solicitudes. Bing y Yandex lo respetan; Google lo ignora. En URL de mapas del sitio, indica la dirección completa de tus mapas del sitio, como https://example.com/sitemap.xml.
El archivo se actualiza mientras escribes. Cópialo o descarga robots.txt y súbelo a la carpeta raíz de tu sitio.
Cómo escribir rutas
- Una ruta empieza con una barra y coincide con todas las direcciones que comienzan con ella: /admin coincide con /admin, /admin/ y /administrator, mientras que /admin/ solo coincide con la carpeta y su contenido.
- El asterisco coincide con cualquier carácter y el signo de dólar marca el final de una dirección, por lo que /*.pdf$ coincide con todos los archivos PDF. Google, Bing y la mayoría de los demás rastreadores principales reconocen ambos.
- Las rutas distinguen entre mayúsculas y minúsculas: /Admin/ y /admin/ son diferentes.
- Las líneas que no son rutas se excluyen del archivo y se muestran encima para que puedas corregirlas.
Cómo funcionan las reglas juntas
Un rastreador sigue el grupo que lo nombra de forma más específica, y solo ese grupo. Si se nombra un rastreador en uno de los grupos de IA, ignora las reglas para todos los rastreadores y queda completamente bloqueado. Dentro de un grupo, prevalece la ruta coincidente más larga, así que Allow: /admin/help/ habilita esa carpeta dentro de Disallow: /admin/. El generador escribe las líneas Allow antes que las líneas Disallow, lo que produce el mismo resultado en los rastreadores antiguos que aplican la primera regla coincidente.
Bloquear rastreadores de IA
Bloquear rastreadores de entrenamiento de IA impide el acceso a los rastreadores que recopilan páginas para entrenar modelos de IA: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (entrenamiento y fundamentación de Gemini en Google; no afecta a Google Search), Applebot-Extended (modelos de IA de Apple; no afecta a la búsqueda de Apple), CCBot (Common Crawl, un conjunto de datos público con el que se entrenan muchos modelos de IA), meta-externalagent (Meta) y Amazonbot (Amazon).
Bloquear bots de búsqueda y asistentes de IA impide el acceso a los bots que leen páginas para generar resultados de búsqueda de IA y para que los asistentes respondan preguntas: OAI-SearchBot y ChatGPT-User (OpenAI), Claude-SearchBot y Claude-User (Anthropic), PerplexityBot y Perplexity-User (Perplexity), meta-webindexer y meta-externalfetcher (Meta), y Amzn-SearchBot y Amzn-User (Amazon). Bloquearlos puede evitar que tus páginas aparezcan en esas respuestas de IA y en los enlaces que incluyen. Según sus operadores, es posible que los bots que obtienen una página a petición de una persona no respeten robots.txt.
Cada nombre es el token de user-agent que su operador documenta para robots.txt.
Ejemplo
Si /admin/ no está permitida, /admin/help/ sí está permitida, los rastreadores de entrenamiento de IA están bloqueados y hay un mapa del sitio, el archivo queda así:
User-agent: *
Allow: /admin/help/
Disallow: /admin/
# Rastreadores de entrenamiento de IA
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /
Sitemap: https://example.com/sitemap.xmlFunciones
- Permitir o bloquear todos los rastreadores, con rutas permitidas y no permitidas
- Bloquear rastreadores de entrenamiento de IA o bots de búsqueda y asistentes de IA mediante sus nombres documentados
- Retraso de rastreo y mapas del sitio
- Aviso de rutas y direcciones no válidas
- Copiar o descargar robots.txt