Los bots de IA se dividen en dos grupos: los que recopilan contenido para entrenar modelos (GPTBot, ClaudeBot, CCBot, y los tokens Google-Extended y Applebot-Extended) y los que buscan y consultan páginas para responder en tiempo real (OAI-SearchBot, Claude-SearchBot, PerplexityBot y los agentes de usuario como ChatGPT-User). Si quieres aparecer citado, no bloquees a los de búsqueda; puedes bloquear a los de entrenamiento sin perder esa visibilidad. robots.txt es una petición que los bots principales respetan, no un candado.
- Entrenamiento y búsqueda son cosas distintas: decide por separado.
- Bloquear OAI-SearchBot te saca de las respuestas de búsqueda de ChatGPT.
- Google-Extended no afecta tu posicionamiento en Google ni los AI Overviews.
- Los agentes que actúan a petición de un usuario pueden no seguir robots.txt.
- Revisa también tu CDN o firewall: pueden bloquear bots aunque robots.txt los permita.
Qué es robots.txt y qué no puede hacer
robots.txt es un archivo de texto en la raíz de tu dominio (tusitio.com/robots.txt) que les dice a los rastreadores qué rutas pueden visitar. Cada bloque empieza con User-agent (el nombre del bot) y sigue con reglas Allow y Disallow. Es un estándar formalizado por la IETF en 2022 y lo respetan Google, Bing y las principales empresas de IA para sus rastreadores automáticos.
Pero tiene límites claros:
- No es seguridad. Es una petición pública. Un bot malicioso puede ignorarlo, y cualquiera puede leer tu robots.txt para ver qué rutas «escondes».
- No borra lo que ya se recopiló. Bloquear hoy a un bot de entrenamiento evita rastreos futuros, no retira tu contenido de modelos ya entrenados.
- No controla índices de terceros. Si otro sitio copia tu texto, tu robots.txt no lo protege.
Con eso claro, la pregunta útil no es «¿bloqueo a la IA?», sino «¿a qué bot, para qué uso?»
Entrenamiento contra búsqueda: la diferencia que casi nadie explica
Las empresas de IA usan la web de dos maneras muy distintas:
- Para entrenar modelos. Un rastreador recopila texto público que puede usarse para entrenar futuras versiones del modelo. Tu contenido se vuelve parte de lo que el modelo «aprendió», pero sin enlace ni crédito en una respuesta concreta.
- Para buscar y citar. Cuando alguien pregunta algo actual, el asistente consulta su índice de búsqueda o visita páginas en ese momento, y muestra la fuente con un enlace. Aquí es donde se generan visitas y donde trabaja el GEO.
Por eso las empresas separaron sus bots. Puedes decir «no entrenes con mi contenido» y, al mismo tiempo, «sí puedes mostrarme y enlazarme en tus respuestas». Para la mayoría de los negocios locales de Torreón, que viven de que los encuentren, esa combinación suele ser la más sensata.
La tabla de bots que necesitas conocer
Esta es la lista de los rastreadores y tokens más importantes según la documentación oficial de cada empresa a finales de 2026:
| User-agent | Empresa | Para qué sirve | Si lo bloqueas |
|---|---|---|---|
| GPTBot | OpenAI | Recopilar contenido para entrenar modelos | No se usa tu sitio para entrenar; sigues pudiendo salir en ChatGPT search |
| OAI-SearchBot | OpenAI | Mostrar y enlazar sitios en la búsqueda de ChatGPT | No apareces citado en respuestas de búsqueda de ChatGPT (quizá solo como enlace de navegación) |
| ChatGPT-User | OpenAI | Visitas iniciadas por un usuario o un GPT personalizado | OpenAI advierte que robots.txt puede no aplicarse a estas visitas |
| ClaudeBot | Anthropic | Recopilar contenido que puede usarse para entrenamiento | No se usa tu sitio para entrenar |
| Claude-SearchBot | Anthropic | Mejorar la calidad de los resultados de búsqueda de Claude | Menos probabilidad de aparecer en respuestas con búsqueda |
| Claude-User | Anthropic | Visitas cuando un usuario le pide a Claude consultar una página | Claude no podrá leer tu página cuando alguien se lo pida |
| PerplexityBot | Perplexity | Indexar para mostrar y enlazar en resultados; según Perplexity, no entrena modelos | Desapareces de las fuentes de Perplexity |
| Perplexity-User | Perplexity | Visitas a petición de un usuario | Perplexity indica que generalmente ignora robots.txt |
| Google-Extended | Token (no es un rastreador aparte): uso para entrenar Gemini y para grounding en Gemini Apps y Vertex AI | No afecta tu presencia en Google Search ni es señal de ranking | |
| Applebot-Extended | Apple | Token: si lo rastreado por Applebot puede usarse para entrenar modelos de Apple | Applebot sigue indexando para Siri y Spotlight |
| CCBot | Common Crawl | Archivo abierto de la web que muchos usan para entrenar modelos | Sales de futuros rastreos de ese archivo |
Hay más (de Meta, Amazon, ByteDance y otras empresas), y los nombres cambian. Antes de copiar listas de internet, revisa la documentación oficial de cada empresa.
Google: por qué bloquear Google-Extended no te saca de AI Overviews
Es la confusión más común. Los AI Overviews y AI Mode son parte de la Búsqueda de Google y usan lo que rastrea Googlebot. Google-Extended solo controla si tu contenido se usa para entrenar y fundamentar Gemini fuera de la Búsqueda.
En la práctica:
- Si bloqueas Google-Extended, sigues en Google Search y puedes seguir apareciendo en AI Overviews.
- Si bloqueas Googlebot, desapareces de Google por completo. No lo hagas.
- Si quieres limitar cuánto texto se muestra de tu página en resultados (incluidas las funciones de IA), Google ofrece las directivas nosnippet, data-nosnippet y max-snippet. Y en 2026 Search Console agregó un control para excluir el sitio de sus funciones de IA generativa.
Lo explicamos a fondo en la guía de AI Overviews.
Tres configuraciones según tu objetivo
1. Máxima visibilidad (recomendada para la mayoría de los negocios locales)
No bloquees a ningún bot de IA. Tu robots.txt solo excluye rutas privadas (administración, carrito, resultados internos) y declara tu sitemap.
2. Visibilidad sí, entrenamiento no
Bloqueas a los bots de entrenamiento y dejas pasar a los de búsqueda:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /admin/
Sitemap: https://tusitio.com/sitemap.xml
OAI-SearchBot, Claude-SearchBot y PerplexityBot quedan cubiertos por el bloque general y pueden rastrear.
3. Fuera de la IA (para contenido de pago o con licencia)
Bloqueas también a los bots de búsqueda de IA. Tiene sentido si vendes contenido, como cursos o reportes, y prefieres que nadie lo resuma. Asume el costo: dejarás de aparecer como fuente.
Nuestro generador de llms.txt y robots IA te arma cualquiera de las tres opciones sin errores de sintaxis.
El bloqueo que no ves: CDN, firewall y hosting
Hemos visto sitios de La Laguna con un robots.txt impecable que aun así no aparecían en ninguna respuesta de IA. La causa estaba en otra capa:
- CDN con bloqueo de bots de IA. Algunos servicios, como Cloudflare, ofrecen y en ciertos planes activan por defecto opciones para bloquear rastreadores de IA. Revisa el panel aunque tu robots.txt diga otra cosa.
- Plugins de seguridad en WordPress. Algunos bloquean por user-agent o por volumen de peticiones y tratan a OAI-SearchBot como un ataque.
- Hosting compartido. Ciertos proveedores limitan bots para ahorrar recursos. Pregúntale a soporte o revisa los registros de acceso. Comparamos opciones en hosting compartido contra VPS.
La auditoría SEO + GEO gratuita revisa si tu robots.txt permite el paso a ChatGPT, Claude y Perplexity, un buen primer filtro antes de meterte a los registros del servidor.
Errores que vemos en robots.txt de sitios mexicanos
Revisando sitios de Torreón, Saltillo y Monterrey, estos son los fallos que más encontramos, casi siempre heredados de una plantilla o de un plugin:
- Disallow: / en el bloque general. Se puso mientras el sitio estaba en construcción y nadie lo quitó. Resultado: ni Google ni ningún asistente pueden leer nada.
- Bloquear la carpeta de CSS o JavaScript. Los buscadores necesitan esos archivos para ver la página como la ve una persona. Si los bloqueas, pueden interpretar mal el contenido.
- Listas copiadas de internet que bloquean «todos los bots de IA» incluyendo OAI-SearchBot, Claude-SearchBot y PerplexityBot. El dueño quería evitar el entrenamiento y terminó fuera de las respuestas con búsqueda.
- Nombres mal escritos. «GPT-Bot» o «Claude-Bot» no corresponden a ningún rastreador; la regla no hace nada.
- Usar robots.txt para quitar páginas de Google. Si una página ya está indexada y la bloqueas, Google no puede ver la etiqueta noindex. Para sacarla del índice, deja que la rastree y usa noindex.
- Sin línea de Sitemap. No es obligatoria, pero ayuda a que los rastreadores encuentren tus páginas nuevas más rápido.
Un buen hábito: cada vez que alguien toque el robots.txt, que deje un comentario con la fecha y el motivo (las líneas que empiezan con # se ignoran).
Cómo verificar quién te visita de verdad
Los bots no aparecen en Google Analytics porque no ejecutan JavaScript (lo explicamos en cómo medir tráfico de IA en GA4). Para verlos:
- Revisa los registros de acceso de tu servidor o el panel de analítica de tu CDN y filtra por user-agent.
- Confirma que sean reales. Cualquiera puede escribir «GPTBot» en su user-agent. OpenAI, Google y otras empresas publican los rangos de IP de sus rastreadores; compara contra ellos antes de tomar decisiones.
- Revisa de nuevo cada trimestre. Aparecen bots nuevos y cambian nombres. Agenda la revisión junto con la actualización de tu llms.txt.
Si quieres que dejemos esto configurado y monitoreado, es parte de nuestro servicio de SEO para IA (GEO).
