Puedes tener una web preciosa que la IA simplemente no ve. Cuando alguien pregunta a ChatGPT, Claude o Perplexity por una herramienta como la tuya, el modelo no "navega" como una persona: pide páginas, lee lo que recibe y decide a quién citar. Si tu contenido no llega en esa lectura, para la IA no existes. Esta guía explica cómo rastrean las IA, cómo comprobar en diez minutos si te ven, los errores que más veces lo impiden y cómo arreglarlos según cómo esté hecha tu web.
Cómo rastrea una IA tu web (y por qué hay tres bots distintos)
Cada proveedor usa varios rastreadores con fines diferentes, y conviene distinguirlos porque puedes permitir unos y bloquear otros:
- Entrenamiento.
GPTBot(OpenAI),ClaudeBot(Anthropic),Google-Extended(controla el uso para Gemini, no el buscador),Bytespider(ByteDance),CCBot(Common Crawl, del que beben muchos modelos). Recogen páginas para entrenar modelos futuros. - Búsqueda de IA.
OAI-SearchBot(la búsqueda de ChatGPT),Claude-SearchBot,PerplexityBot. Construyen el índice que el asistente consulta cuando responde con fuentes. - Visita en vivo.
ChatGPT-User,Claude-User,Perplexity-User: el asistente abre tu página en el momento porque un usuario se lo ha pedido.
Bloquear el entrenamiento y permitir la búsqueda es una decisión perfectamente razonable. Bloquearlo todo por accidente, con una plantilla heredada, es lo que le pasa a muchas apps.
Ver no es lo mismo que renderizar
Muchos vibe coders lanzan apps con un front que se monta entero en el navegador con JavaScript (una SPA hecha con Vite, Lovable, Bolt o v0). Para un humano se ve perfecto. Pero la mayoría de bots de IA piden el HTML y leen lo que llega antes de ejecutar nada; algunos no ejecutan JavaScript nunca. Si tu contenido aparece solo después del JS, esos bots ven una página casi vacía: un <div id="root"> y poco más.
Paso 1: mira tu HTML crudo
Abre tu web, haz clic derecho y elige ver código fuente (no "inspeccionar", que ya muestra el DOM renderizado). Busca tu titular principal y un par de párrafos. Si no están en ese HTML, la IA probablemente tampoco los verá. Otra prueba rápida: desactiva JavaScript en el navegador y recarga. Lo que quede es, más o menos, lo que ve un bot básico.
Si prefieres la terminal, pide la página como lo haría el bot de ChatGPT y cuenta cuánto texto llega:
curl -s -A "GPTBot" https://tudominio.com/ | sed 's/<[^>]*>//g' | wc -wUnas decenas de palabras significa que el contenido está en el JavaScript. Varios cientos, que llega en el HTML.
Paso 2: revisa tu robots.txt
Visita tudominio.com/robots.txt. Comprueba que no estás bloqueando a los bots de IA sin querer. Un Disallow: / genérico, una plantilla copiada o el "modo lucha contra bots" de tu CDN pueden estar cerrándoles la puerta. Si quieres permitir la búsqueda y las visitas en vivo pero no el entrenamiento, el archivo sería así:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://tudominio.com/sitemap.xmlBloquear es una decisión legítima, pero que sea a propósito, no por accidente. Y recuerda que robots.txt es una petición, no una barrera: los bots respetuosos lo cumplen; los demás, no.
Paso 3: ofrece un llms.txt
El archivo llms.txt en la raíz de tu dominio es un resumen en texto plano (Markdown) de qué eres y qué páginas importan. No es obligatorio ni mágico, y no todos los modelos lo leen todavía, pero le da un punto de entrada limpio a tu sitio y te obliga a escribir la frase que define tu producto. Un ejemplo mínimo:
# Tu producto
> Tu producto es un [qué es] para [quién] que [qué consigue]. Una frase, sin adjetivos.
## Páginas principales
- [Qué hace](https://tudominio.com/producto): descripción en una línea
- [Precios](https://tudominio.com/precios): planes y lo que incluye cada uno
- [Documentación](https://tudominio.com/docs): cómo empezarEsa primera frase, la que empieza por "Tu producto es…", conviene repetirla igual en la home, en la meta descripción y en los datos estructurados: es la que los modelos acaban citando.
Paso 4: datos estructurados que te describen
Un bloque JSON-LD con Organization (nombre, logo, URL, descripción) y, si vendes algo, SoftwareApplication o Product con precios, le da al modelo hechos sin ambigüedad: qué eres, cuánto cuestas, dónde estás. Si tienes preguntas frecuentes, márcalas como FAQPage: son el formato que más se parece a cómo preguntan los usuarios a la IA.
Paso 5: pregúntale directamente a la IA
Abre ChatGPT, Claude y Perplexity y haz las mismas tres preguntas en cada uno: qué es X, qué hace X y alternativas a X, y una cuarta más útil: recomiéndame una herramienta para [el problema que resuelves]. Fíjate en tres cosas: si te menciona, si lo que dice es correcto y si te confunde con otro. Apúntalo con fecha. Repite cada mes: esto es tu punto de partida real y la única forma de saber si lo que cambias funciona.
Paso 6: dale de comer contenido citable
Los modelos citan párrafos que responden una pregunta sin depender del resto de la página. Eso se traduce en hábitos concretos: un título que sea la pregunta, la respuesta directa en las dos primeras frases, datos concretos (cifras, nombres, fechas) en lugar de adjetivos, y una página por tema en vez de una página que lo cuenta todo. Si tu mejor información está en un vídeo, una imagen o un PDF, para la IA no existe.
Cómo arreglarlo según cómo esté hecha tu web
- Next.js o Nuxt. Ya renderizan en servidor si no lo has desactivado. Revisa que las páginas de marketing no usen
'use client'para todo ni dependan de datos que solo se cargan en el navegador. - SPA con Vite (Lovable, Bolt, v0). El HTML llega vacío. Las opciones, de menos a más trabajo: prerenderizar las páginas públicas en el build (plugins de prerender), mover el marketing a un sitio estático aparte, o migrar la parte pública a un framework con SSR.
- Webflow, Framer, WordPress. Sirven HTML completo; aquí el problema suele estar en
robots.txt, en unnoindexolvidado o en la protección anti-bots del CDN. - Detrás de un login. Lo que requiere sesión no lo ve nadie. Saca a una página pública la descripción de lo que haces.
Los errores que más veces lo impiden
- Un
<meta name="robots" content="noindex">que se quedó de la fase de pruebas. - El "modo lucha contra bots" o un desafío JavaScript del CDN que bloquea a todos los rastreadores por igual.
- Una web que carga el contenido con scroll infinito o tras pulsar un botón.
- Textos en imágenes: el nombre del producto y su propuesta de valor en un PNG.
- Una sola página larga para todo, sin títulos que digan de qué va cada parte.
Cómo medirlo con el tiempo
Mira los logs de tu servidor o de tu CDN y filtra por los user agents de arriba: te dirá qué bots te visitan, cuánto y qué páginas piden. Si no aparece ninguno, revisa primero robots.txt y la protección del CDN. Combínalo con la ronda mensual de preguntas del paso 5 y tendrás las dos mitades: si te leen y si te citan.
Scanaris automatiza esta comprobación
El pilar de visibilidad ante IA de Scanaris revisa si tu contenido es legible sin JS, si bloqueas bots de IA en robots.txt, si tienes llms.txt y datos estructurados, y hasta cómo te describe un modelo al preguntarle por tu marca, con un fix prompt por cada fallo. Todo en solo lectura, sobre información pública. Y el rastreador de visibilidad vigila cada día si apareces cuando alguien pide una recomendación en tu categoría.
Preguntas frecuentes
¿Bloquear GPTBot me quita de ChatGPT?
Te quita del entrenamiento de modelos futuros, no de las respuestas con búsqueda, que usan OAI-SearchBot y ChatGPT-User. Si quieres aparecer cuando alguien pregunta, esos dos deben estar permitidos.
¿Cuánto tarda en notarse un cambio?
Las visitas en vivo, al momento: en cuanto el HTML lleve el contenido, el asistente lo lee. Los índices de búsqueda, de días a semanas. El conocimiento "de memoria" del modelo, hasta el siguiente entrenamiento, que no controlas.
¿Hace falta llms.txt si ya tengo sitemap?
No es obligatorio. El sitemap dice qué páginas existen; llms.txt dice qué eres y cuáles importan, en lenguaje natural. Cuesta diez minutos y no estorba.