Verificador de rastreadores de IA

Qué hace este verificador de rastreadores de IA

Este verificador de rastreadores de IA te dice qué bots de IA pueden leer tu sitio web y cuáles están bloqueados. Escribe un dominio y lee tu robots.txt, y luego muestra el resultado de 32 rastreadores de OpenAI, Anthropic, Google, Perplexity, Apple, Meta, Amazon, ByteDance, Common Crawl y otros. De cada rastreador ves la regla exacta y el número de línea que lo decide, así sabes qué cambiar, no solo qué falla.

Los rastreadores se dividen según lo que hacen, porque bloquearlos tiene efectos muy distintos:

• Búsqueda y respuestas de IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot, Applebot): deciden si ChatGPT, Claude, Perplexity y Siri pueden encontrar y citar tus páginas. Si los bloqueas, desapareces de esas respuestas.
• Entrenamiento de IA (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider y más): recopilan páginas que pueden usarse para entrenar modelos. Bloquearlos no afecta a tu posicionamiento en buscadores.
• Consultas pedidas por un usuario (ChatGPT-User, Claude-User, Perplexity-User): un asistente abre tu página porque alguien pegó el enlace o preguntó por ella.

Cómo se usa

1. Comprueba un sitio. Escribe tu dominio, por ejemplo example.com, y pulsa Comprobar acceso. Para probar una sola página, pega su URL completa.
2. Lee el resumen. Los tres recuadros muestran cuántos rastreadores de búsqueda, entrenamiento y consulta de usuario están permitidos. El panel de abajo lista tu robots.txt, si tienes un llms.txt, cualquier etiqueta noindex, nosnippet o noai en la página de inicio y una prueba de cortafuegos.
3. Mira las notas. El verificador señala errores comunes en lenguaje claro: un rastreador con su propio grupo que ignora en silencio tus reglas de User-agent: *, bloquear la búsqueda de ChatGPT mientras se permite el entrenamiento de OpenAI, nombres retirados como anthropic-ai y archivos robots.txt que en realidad son páginas HTML.
4. Prueba una ruta. Escribe cualquier ruta, como /blog/ o /wp-admin/, para ver qué rastreadores pueden abrirla. Haz clic en un número de línea para saltar a esa línea de tu archivo.
5. Arréglalo. Pulsa Arreglar: crear reglas. Elige una política, ajusta rastreadores concretos y copia un robots.txt completo que conserva tus reglas y sitemaps actuales. Pulsa Probar para revisar el nuevo archivo antes de subirlo.

¿Aún sin sitio en vivo, o detrás de un login? Usa la pestaña Pegar robots.txt. Pega o sube el archivo y los resultados se actualizan mientras escribes, sin que nada salga de tu navegador.

Qué muestra la prueba de cortafuegos

robots.txt es una petición, no una cerradura. Muchos sitios bloquean además los bots de IA en el servidor o en la CDN, a veces sin que el propietario lo sepa, porque lo hizo un plugin de seguridad o un ajuste de Cloudflare. El verificador pide tu página de inicio tres veces: como un navegador normal, como GPTBot y como ClaudeBot. Si las versiones de rastreador reciben un error 403 o una página de desafío mientras el navegador pasa, algo bloquea a los rastreadores de IA por su nombre, diga lo que diga tu robots.txt.

La prueba solo ve bloqueos basados en el nombre del user-agent. Las reglas que comprueban la IP real del rastreador, como el bloqueo de bots verificados de Cloudflare, no se pueden detectar desde fuera, así que un resultado limpio no las descarta.

Lo que los resultados no pueden decirte

Límites honestos, para que no leas en un resultado verde más de lo que significa:

• Un rastreador «permitido» puede no visitarte nunca. Estar permitido te hace elegible; no hace que nadie te rastree.
• No todos los rastreadores obedecen robots.txt. La columna Obedece robots.txt lo indica donde la propia empresa dice que puede no hacerlo (Perplexity-User, ChatGPT-User, meta-externalfetcher) o donde se ha informado ampliamente (Bytespider).
• Bloquear hoy a un rastreador de entrenamiento no elimina las páginas que ya recopiló.
• Googlebot alimenta tanto la Búsqueda de Google como las Vistas creadas con IA. robots.txt no puede separar ambas; solo nosnippet o noindex mantiene una página fuera de las Vistas creadas con IA.

Preguntas frecuentes

¿Cómo compruebo si mi sitio bloquea a GPTBot?

Escribe arriba tu dominio y mira la fila de GPTBot en el grupo de entrenamiento de IA. Muestra Permitido o Bloqueado y la regla que lo decide. Revisa también la línea de la prueba de cortafuegos: si GPTBot recibe allí un error, tu servidor o CDN lo bloquea aunque robots.txt lo permita.

¿Bloquear rastreadores de IA perjudica mi posicionamiento en Google?

No, mientras solo bloquees rastreadores de IA. Google-Extended controla el entrenamiento y la fundamentación de Gemini y no afecta a la Búsqueda de Google. No bloquees nunca a Googlebot a menos que quieras salir de Google.

¿Cuál es la diferencia entre GPTBot y OAI-SearchBot?

GPTBot recopila páginas que pueden usarse para entrenar modelos de OpenAI. OAI-SearchBot indexa páginas para que aparezcan y se citen en la búsqueda de ChatGPT. Puedes bloquear el primero y permitir el segundo, que es lo que hacen la mayoría de los editores.

¿Bloquear ClaudeBot bloquea también la búsqueda de Claude?

No. Anthropic usa tres nombres distintos: ClaudeBot para entrenamiento, Claude-SearchBot para búsqueda y Claude-User para páginas que un usuario pide a Claude abrir. Cada uno necesita su propia regla.

Mi robots.txt bloquea un rastreador pero sigue visitando. ¿Por qué?

O el rastreador no sigue robots.txt, o alguien usa su nombre sin serlo, o recuperó una página que pidió un usuario, algo que algunas empresas tratan de forma distinta. Para los rastreadores que te importan, añade también una regla de cortafuegos o CDN.

¿Qué pasa si no tengo robots.txt?

Todos los rastreadores pueden leer todas las páginas. Está bien si quieres ser visible para las herramientas de IA. Si tu robots.txt devuelve un error de servidor, los rastreadores que cumplen las normas hacen lo contrario y se mantienen lejos de todo el sitio, así que arréglalo primero.

¿Se guardan mis datos?

Los archivos pegados nunca salen de tu navegador. En la pestaña Comprobar un sitio, nuestro servidor obtiene el robots.txt, el llms.txt y la página de inicio públicos del dominio que escribes y guarda el resultado seis horas para que las comprobaciones repetidas sean instantáneas. No se guarda nada sobre ti.

¿Dónde puedo saber más?

Lee nuestra guía Cómo bloquear rastreadores de IA con robots.txt (y cuándo no hacerlo). Usa el generador de robots.txt para reglas generales de rastreo.