Cómo bloquear rastreadores de IA con robots.txt (y cuándo no hacerlo)

La mayoría de los propietarios de sitios que intentan bloquear rastreadores de IA quieren una cosa: impedir que las empresas de IA entrenen con su contenido. Muchos acaban haciendo otra por accidente, como desaparecer de la búsqueda de ChatGPT, o no bloquear nada porque usaron un nombre de bot retirado hace dos años. Esta guía explica qué rastreadores existen, qué controla cada uno, las reglas que puedes copiar y lo que robots.txt simplemente no puede hacer.

Antes de cambiar nada, mira dónde estás: el AI Crawler Access Checker gratuito lee tu robots.txt y muestra qué bots de IA están permitidos o bloqueados, y por qué.

Por qué «bloquear rastreadores de IA» son en realidad tres decisiones

Las empresas de IA ya no usan un solo bot cada una. Desde finales de 2024, las grandes dividen sus rastreadores por finalidad, y cada nombre necesita su propia línea en robots.txt:

Publicidad

Empresa	Entrenamiento	Búsqueda y citas	Cuando lo pide un usuario
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	(ninguno)	PerplexityBot	Perplexity-User
Google	Google-Extended	Googlebot
Apple	Applebot-Extended	Applebot
Meta	meta-externalagent		meta-externalfetcher

Así que las preguntas reales son:

1. Entrenamiento: ¿pueden las empresas de IA usar tus páginas para construir futuros modelos? Bloquearlo no afecta al tráfico de búsqueda.
2. Búsqueda de IA: ¿pueden ChatGPT, Claude, Perplexity y Siri encontrar y citar tus páginas? Bloquearlo te quita de sus respuestas y de los visitantes que esas citas envían.
3. Consultas de usuario: ¿puede un asistente abrir tu página cuando alguien pega tu enlace? Bloquearlo molesta sobre todo a tus propios lectores.

Para la mayoría de blogs, tiendas y sitios de herramientas la respuesta sensata es no, sí, sí: bloquear el entrenamiento y mantener la búsqueda. Si vendes el contenido en sí (periodismo de pago, investigación, fotos de stock), bloquearlo todo es una decisión comercial razonable. Solo tómala a propósito.

Las reglas de robots.txt para copiar

Este bloque detiene a los principales rastreadores de entrenamiento y deja en paz la búsqueda y las consultas de usuario. Añádelo al final de tu robots.txt, bajo tus reglas actuales (¿nuevo con el formato del archivo? Empieza con el generador de robots.txt):

# Block AI training
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: cohere-training-data-crawler
Disallow: /

Apilar varias líneas User-agent sobre un mismo Disallow es válido: forman un grupo, y cada rastreador nombrado en él sigue la regla.

Para bloquear todos los rastreadores de IA, incluida la búsqueda, añade los nombres de búsqueda y de consulta de usuario al mismo grupo: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User y meta-externalfetcher. No añadas Googlebot ni Bingbot a menos que quieras salir de Google y Bing por completo.

En WordPress no necesitas FTP. Yoast SEO tiene un editor de robots.txt en Yoast SEO → Herramientas → Editor de archivos, y Rank Math tiene uno en Ajustes generales → Editar robots.txt. Si ninguno aparece, WordPress está generando un robots.txt virtual y puedes crear un archivo real en la carpeta raíz de tu sitio con el gestor de archivos de tu hosting.

Tres errores que rompen las reglas sin avisar

1. El grupo propio de un rastreador anula tus reglas generales

Este pilla a mucha gente. Un rastreador sigue solo el grupo más específico que lo nombra. Si tu archivo dice

User-agent: *
Disallow: /wp-admin/
Disallow: /checkout/

User-agent: OAI-SearchBot
Allow: /

OAI-SearchBot ignora por completo el primer grupo y puede rastrear /wp-admin/ y /checkout/. Si das a un rastreador su propio grupo, repite dentro las líneas Disallow que sigues queriendo. El verificador avisa de esto, y su constructor de reglas copia tus rutas privadas en cada grupo por ti.

2. Nombres retirados

Muchas listas de copiar y pegar siguen bloqueando anthropic-ai y Claude-Web. Anthropic ya no usa ninguno, así que esas líneas no controlan nada, y los sitios que dependen de ellas no están bloqueando a ClaudeBot en absoluto.

3. Bloquear la búsqueda y permitir el entrenamiento

Vemos con regularidad archivos que bloquean OAI-SearchBot o PerplexityBot «por si acaso» pero nunca mencionan GPTBot. El resultado es lo peor de ambos mundos: fuera de los resultados de búsqueda de ChatGPT y aun así disponible para entrenamiento.

Lo que robots.txt no puede hacer

Esta es la parte que la mayoría de guías omite. robots.txt es una petición pública. Funciona porque las empresas serias eligen respetarla, y tiene límites reales:

• No se impone. OpenAI, Anthropic, Google y Apple dicen que sus rastreadores lo siguen. Se ha informado repetidamente de que Bytespider lo ignora, y cualquier scraper puede hacerse pasar por un navegador normal.
• Las consultas de usuario son una zona gris. Perplexity dice que Perplexity-User suele ignorar robots.txt, OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User y Meta dice lo mismo de meta-externalfetcher. Su argumento es que una persona, no un rastreador, pidió la página.
• No es retroactivo. Bloquear GPTBot hoy no elimina páginas ya recopiladas ni modelos ya entrenados. Los archivos de Common Crawl se remontan a más de una década.
• No puede separar la Búsqueda de Google de las Vistas creadas con IA. Ambas usan Googlebot. Google-Extended solo cubre el entrenamiento y la fundamentación de Gemini. La única forma de mantener una página fuera de las Vistas creadas con IA es nosnippet (o noindex), que también quita su fragmento de los resultados normales. Para la mayoría de sitios ese intercambio no compensa.
• Las etiquetas noai y noimageai son un deseo. Estas metaetiquetas no forman parte de ningún estándar y ninguna de las grandes empresas de IA ha dicho que las siga. Añadirlas no hace daño, pero no cuentes con ellas.

Si bloquear te importa de verdad, añade también un bloqueo a nivel de red. Cloudflare puede bloquear rastreadores de IA conocidos en todos los planes y comprueba las IP reales de los bots verificados, algo que robots.txt no puede. Los plugins de seguridad como Wordfence pueden bloquear por user-agent. Ten en cuenta que estas herramientas cortan en ambos sentidos: Cloudflare bloquea ahora por defecto los rastreadores de IA en muchos dominios nuevos, así que un sitio puede dejar fuera bots de búsqueda de IA que su propietario quería permitir mientras su robots.txt sigue diciendo «permitido». La prueba de cortafuegos del verificador compara la respuesta que tu página de inicio da a un navegador con la que da a GPTBot y ClaudeBot, y detecta justo eso.

Content Signals y llms.txt: ¿vale la pena añadirlos?

La Content Signals Policy de Cloudflare añade al robots.txt una línea como Content-Signal: search=yes, ai-input=yes, ai-train=no. Indica cómo quieres que se use el contenido una vez obtenido: para búsqueda, como entrada de respuestas de IA o para entrenamiento. Es una declaración clara de tus deseos y no cuesta nada, pero ningún rastreador está obligado a seguirla, y las grandes empresas de IA no han dicho públicamente que lo hagan. Añádela si quieres; no la trates como protección.

llms.txt va en sentido contrario: en vez de mantener fuera a la IA, dirige a los asistentes hacia tus mejores páginas. La adopción por parte de las empresas de IA sigue sin estar clara, así que trátalo como algo barato y opcional, no como una palanca de posicionamiento.

Cómo comprobar que ha funcionado

1. Abre tusitio.com/robots.txt en una ventana privada del navegador. Si ves tu archivo antiguo, vacía el plugin de caché o la caché de la CDN. Si ves una página web en lugar de texto plano, tu robots.txt no está bien configurado.
2. Ejecuta el AI Crawler Access Checker. Las filas de entrenamiento deberían decir Bloqueado, las de búsqueda Permitido, y las notas no deberían tener avisos.
3. Prueba una ruta privada, como /wp-admin/, en el cuadro de ruta para asegurarte de que los rastreadores que permitiste siguen sin poder abrirla.
4. Dale un día. OpenAI y Perplexity dicen que los cambios tardan unas 24 horas en llegar a sus rastreadores, y otros releen robots.txt a su ritmo.
5. Si tienes registros del servidor, busca los nombres de los rastreadores pasada una semana. Visitas a rutas bloqueadas de un nombre que dice obedecer robots.txt suelen significar que alguien falsifica ese nombre.

La versión corta

Para impedir que los rastreadores de IA entrenen y seguir siendo visible en la búsqueda de IA, bloquea GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot y Bytespider, y deja en paz a OAI-SearchBot, Claude-SearchBot y PerplexityBot. No uses nombres retirados, no olvides que el grupo propio de un rastreador anula tus reglas generales y no esperes que robots.txt detenga a quien decida ignorarlo. Si eso importa, respáldalo con una regla de cortafuegos.

Comprueba tu sitio ahora: el AI Crawler Access Checker muestra el acceso de cada rastreador de IA en segundos y crea reglas corregidas que puedes pegar directamente en tu robots.txt.