¿Qué rastreadores de IA deberías permitir en robots.txt? Comparación completa de tipo recuperación vs. entrenamiento y configuración práctica
¿Quieres que ChatGPT y Perplexity te citen, pero sin alimentar gratis el entrenamiento de modelos? La clave está oculta en apenas unas líneas del robots.txt. Pero mucha gente nunca lo nota: escribiste «Allow», y aun así el tráfico es bloqueado por Cloudflare antes de llegar a tu sitio. Este texto te ayuda a distinguir cada rastreador de IA y luego te enseña a revisar esa brecha invisible que tan fácil se pasa por alto.
Primero entiende lo básico: hay tres tipos de rastreadores de IA, no es «todo abierto» o «todo cerrado»
Mucha gente trata a los rastreadores de IA como un único bloque, y el resultado es o bien permitirlo todo (hasta tus datos de entrenamiento se los llevan) o bien bloquearlo todo (y de paso quedar fuera de los resultados de búsqueda con IA). En realidad, desde 2025, OpenAI, Anthropic y Perplexity han dividido sus rastreadores en tres roles, cada uno con su propio identificador en robots.txt que puedes controlar por separado.
Estos tres roles tienen propósitos completamente distintos: los de entrenamiento toman tu contenido para entrenar modelos; los de recuperación indexan tu contenido para poder citarlo en las respuestas de IA; y los activados por el usuario obtienen tu página en tiempo real en el momento en que una persona real hace una pregunta.
Una vez que entiendes esta estructura de tres niveles, puedes hacer concesiones que te favorezcan: permitir los que traen visibilidad y bloquear los que solo se aprovecharían de ti gratis. Distinguir primero los roles y luego decidir si permites cada uno es la base de todo lo que viene después.
Recuperación vs. entrenamiento: una tabla comparativa para ver a quién permitir
Una vez que clasificas los rastreadores principales por rol, la lógica de configuración queda clara. Para la mayoría de las empresas taiwanesas que quieren hacer GEO (optimización para motores generativos), la estrategia más común es permitir los rastreadores de recuperación y los activados por el usuario, y decidir sobre los de entrenamiento según la estrategia de marca.
- Tipo entrenamiento (alimenta modelos, normalmente sin retorno directo de visibilidad): GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (entrenamiento de Google Gemini), CCBot (Common Crawl, fuente de entrenamiento de muchos modelos de código abierto)
- Tipo recuperación (construye un índice para que te citen en las búsquedas con IA): OAI-SearchBot (búsqueda de ChatGPT), Claude-SearchBot (búsqueda de Claude), PerplexityBot (indexación de Perplexity)
- Tipo activado por el usuario (obtiene en tiempo real cuando una persona real pregunta, en general se recomienda permitirlo): ChatGPT-User, Claude-User, Perplexity-User
- Distinción importante: Google-Extended solo controla si Gemini usa tu contenido para entrenar; no afecta tu posicionamiento en la búsqueda normal de Google (eso es Googlebot). No confundas ambos.
¿Permitir o bloquear? Tres escenarios típicos de concesión
No hay una respuesta única: depende de tu modelo de negocio. Los tres escenarios siguientes cubren las decisiones que enfrentan la mayoría de las pymes y creadores de contenido taiwaneses.
Si ganas con tráfico y visibilidad de marca (la mayoría de los sitios corporativos, blogs, SaaS): permite todos los rastreadores de recuperación y los activados por el usuario, porque ser citado por ChatGPT y Perplexity equivale a una nueva fuente de visibilidad gratuita; para los de entrenamiento, depende: si te molesta que tomen tu contenido gratis, bloquea GPTBot/ClaudeBot/CCBot; si no te importa a cambio de mayor notoriedad en los modelos, permítelos.
Si tienes un muro de pago o contenido exclusivo (medios, informes de investigación, cursos): normalmente bloquea los rastreadores de entrenamiento (no quieres que tu contenido se use gratis para entrenar), pero conserva los de recuperación y los activados por el usuario para que la IA al menos pueda citar tu resumen y dirigir tráfico de vuelta a tu sitio. Si no quieres nada que ver con la IA (sectores sensibles a normativas, sitios puramente internos): bloquéalo todo, pero prepárate: irás desapareciendo poco a poco de las respuestas de IA.
¿Quieres saber qué puntaje tiene tu sitio para la IA?
Escaneo gratis: obtén tu puntaje de legibilidad para IA (0–100) y arreglos listos para pegar al instante.
Análisis GEO gratis →Cómo escribir el robots.txt: una plantilla lista para usar
El robots.txt va en el directorio raíz de tu sitio (por ejemplo, https://tudominio/robots.txt), y cada rastreador se controla con su propio bloque User-agent. A continuación está el esqueleto habitual de «permitir recuperación, bloquear entrenamiento», donde cada bloque es una línea User-agent más una línea Allow o Disallow.
Las reglas no distinguen mayúsculas/minúsculas en las directivas, pero el nombre del User-agent debe coincidir exactamente con la grafía oficial (por ejemplo, es OAI-SearchBot, no OpenAI-SearchBot). Cuando termines, asegúrate de abrir directamente https://tudominio/robots.txt para confirmar que el archivo realmente existe y no está siendo redirigido.
- Permitir tipo recuperación: para OAI-SearchBot, Claude-SearchBot y PerplexityBot, escribe una línea User-agent y una línea Allow: / para cada uno
- Permitir tipo activado por el usuario: da a ChatGPT-User, Claude-User y Perplexity-User un Allow: / a cada uno
- Bloquear tipo entrenamiento: para GPTBot, ClaudeBot y CCBot, escribe una línea User-agent y una línea Disallow: / para cada uno; para bloquear el entrenamiento de Gemini, añade también un Disallow: / para Google-Extended
- No abuses del comodín: la regla User-agent: * es solo el valor por defecto para «otros rastreadores no nombrados»; los rastreadores de IA ya nombrados individualmente usan su propio bloque y no se ven afectados por *
- robots.txt es «cumplimiento solicitado», no obligación técnica: los grandes que se portan bien lo respetarán, pero no puede frenar a rastreadores que no declaran su identidad (como conductas señaladas por rotar IP/UA para evadir reglas)
La brecha invisible: robots dice permitir, pero Cloudflare/WAF lo bloquea
Esta es la trampa en la que más gente cae y que más cuesta detectar por uno mismo. El robots.txt es solo una «hoja de preferencias cortés»; lo que realmente decide si una solicitud entra a tu sitio es la capa que está más arriba: el CDN y el WAF (firewall de aplicaciones web). Si usas Cloudflare, su Bot Fight Mode viene activado por defecto en todos los planes (incluida la versión gratuita) y bloqueará directamente el tráfico que juzgue como bot, incluidos rastreadores de IA legítimos.
El resultado: el rastreador de IA ni siquiera llega a tu servidor ni lee ese robots.txt que configuraste con cuidado; recibe un 403 o una página de desafío justo en la capa de Cloudflare. En los últimos años Cloudflare también ha incorporado una regla gestionada de «Bloquear bots de IA», y esta regla tiene mayor prioridad que el robots.txt; es decir, un «Allow» en robots.txt simplemente no puede vencer al bloqueo del WAF.
La evaluación de reglas tiene un orden: las reglas personalizadas (Custom Rules) se ejecutan antes que la regla gestionada de «Bloquear bots de IA». Por eso la solución correcta es crear en el panel de Cloudflare una regla personalizada de Allow/Skip que coincida con User-Agents que contengan los rastreadores que quieres permitir, como OAI-SearchBot y PerplexityBot, para que pasen antes de que la regla gestionada los atrape. Sitios que viven detrás de Cloudflare, como WordPress y Webflow, son especialmente propensos a caer en esto.
Cómo verificar: una comprobación en tres pasos de que los rastreadores realmente entran
Editar el robots.txt no basta: tienes que verificar de verdad si la solicitud está siendo bloqueada por esa capa de arriba. Los tres pasos siguientes te permiten determinar en pocos minutos si tu configuración realmente está surtiendo efecto.
- Paso uno, mira el archivo directamente: abre https://tudominio/robots.txt en un navegador y confirma que el archivo existe, que el contenido es correcto y que no se redirige a una página de inicio de sesión o a la página principal
- Paso dos, simula la obtención de un rastreador: usa un comando con el User-Agent del rastreador para obtener tu propia página principal, por ejemplo curl -A "OAI-SearchBot" -I https://tudominio/, y comprueba si la respuesta es 200; si es 403 o te redirige a una página de desafío, es el WAF/CDN quien bloquea
- Paso tres, compara identidades distintas: ejecuta el mismo comando una vez con un UA de navegador normal y otra con un UA de rastreador; si el navegador obtiene 200 pero el rastreador obtiene 403, puedes estar casi seguro de que el culpable es una regla de gestión de bots, así que añade una regla de permiso en la configuración de WAF/Bot de Cloudflare
- Avanzado: revisa los registros de acceso de tu servidor o CDN para ver si OAI-SearchBot, PerplexityBot, Claude-SearchBot, etc. realmente tienen registros 200 exitosos; si no, significa que nunca llegaron a entrar
- Para medir rápido tu punto de partida, también puedes ejecutar primero una herramienta gratuita de chequeo GEO para ver si los rastreadores de IA pueden leer tus páginas, y luego ir descartando con los tres pasos anteriores uno por uno
Preguntas frecuentes
Q. Ya permití GPTBot en robots.txt, ¿por qué ChatGPT sigue sin poder leer mi sitio?
Hay dos causas más comunes. Primera, permitiste el rastreador equivocado: GPTBot es un rastreador de entrenamiento, mientras que la búsqueda y las citas de ChatGPT en realidad dependen de OAI-SearchBot y ChatGPT-User; para que te citen deberías permitir esos dos. Segunda, te bloquean en la capa de arriba: aunque el robots.txt diga permitir, las reglas de gestión de bots de CDN/WAF como Cloudflare tienen mayor prioridad y devolverán un 403 antes de que la solicitud llegue a tu servidor. Usa curl con el User-Agent de OAI-SearchBot para obtener tu página principal; si no es 200, añade una regla de permiso en tu WAF.
Q. ¿Cuál es la diferencia entre rastreadores de IA de recuperación y de entrenamiento, y cuál debería permitir?
Los rastreadores de entrenamiento (GPTBot, ClaudeBot, Google-Extended, CCBot) toman tu contenido para entrenar modelos y normalmente no traen ningún retorno directo de visibilidad. Los rastreadores de recuperación (OAI-SearchBot, Claude-SearchBot, PerplexityBot) indexan tu contenido para que te citen en las respuestas de IA, generando visibilidad y tráfico. A la mayoría de los sitios que hacen GEO se les recomienda permitir los rastreadores de recuperación y los activados por el usuario (ChatGPT-User, Claude-User, Perplexity-User), y decidir si bloquear los de entrenamiento según la estrategia de marca.
Q. ¿Qué es Google-Extended y bloquearlo afectará mi posicionamiento en la búsqueda de Google?
No. Google-Extended solo controla si Google puede usar tu contenido para entrenar IA generativa como Gemini; ponerlo como Disallow simplemente te excluye del entrenamiento de IA. La indexación y el posicionamiento de la búsqueda normal de Google los gestiona Googlebot, y ambos son completamente independientes. Así que puedes bloquear Google-Extended con tranquilidad para excluirte del entrenamiento de IA y, al mismo tiempo, conservar Googlebot para mantener tu posicionamiento de búsqueda original; ninguno afecta al otro.
Q. Uso Cloudflare; mi robots.txt permite claramente los rastreadores de IA pero igual los bloquea, ¿qué hago?
Porque el Bot Fight Mode de Cloudflare viene activado por defecto en todos los planes, y la regla gestionada integrada de «Bloquear bots de IA» tiene mayor prioridad que el robots.txt, la solicitud se bloquea antes de llegar a tu servidor. La solución es ir en el panel de Cloudflare a Security → WAF → Custom Rules y crear una regla personalizada que coincida con User-Agents que contengan los rastreadores que quieres permitir (como OAI-SearchBot, PerplexityBot), con la acción configurada como Allow o Skip; las reglas personalizadas se ejecutan antes que la regla de bloqueo gestionada, lo que les permite pasar.
Q. Si el robots.txt dice Disallow, ¿las empresas de IA seguro no rastrearán mi contenido?
No necesariamente. El robots.txt es una convención del sector: es «cumplimiento solicitado», no obligación técnica. Los grandes que se portan bien (OpenAI, Anthropic) lo respetarán, pero no puede impedir el acceso a nivel técnico. Ha habido casos de rastreadores señalados por rotar IP y User-Agents para evadir el robots.txt. Para bloquearlos de verdad necesitas reglas de firewall en la capa de WAF/CDN; un Disallow en robots.txt por sí solo no basta para garantizar que no rastreen en absoluto.
Q. ¿Debería permitir rastreadores activados por el usuario como ChatGPT-User y Claude-User?
En la mayoría de los casos, sí, permítelos. Estos rastreadores no son scraping automatizado a gran escala: obtienen tu página una sola vez en tiempo real solo cuando una persona real hace una pregunta en ChatGPT o Claude y necesita consultarla, y normalmente incluyen un enlace de origen que dirige tráfico de vuelta a tu sitio. Bloquearlos equivale a renunciar a la oportunidad de ser citado y de recibir clics en el momento de la consulta de una persona real, algo que normalmente no compensa para los sitios que quieren construir visibilidad en IA.
Pon a prueba lo aprendido en tu sitio en 10 segundos
Escaneo gratis: obtén tu puntaje de legibilidad para IA (0–100) y arreglos listos para pegar al instante.
Análisis GEO gratis →