Cómo funciona esta comprobación
Scanaris descarga tu /robots.txt (si no existe o es HTML, no hace nada) y lo interpreta por grupos, como hacen los rastreadores: cada grupo son una o varias líneas User-agent seguidas de sus reglas. Para seis rastreadores de IA concretos, GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended y CCBot, aplica la regla real del estándar: si el bot tiene su propio grupo, solo cuenta ese grupo y el comodín * se ignora para él; si no lo tiene, hereda el grupo *. Un bot está bloqueado si el grupo que le aplica contiene Disallow: /. Si alguno lo está, abre un hallazgo informativo que lista cuáles y explica si es por un bloque propio o por un User-agent: * con Disallow: / que los arrastra a todos. Es informativo porque bloquearlos puede ser una decisión legítima.
Qué hace cada bot
No son todos iguales, y conviene saberlo antes de decidir. GPTBot es el rastreador de OpenAI para entrenar modelos; OpenAI tiene además OAI-SearchBot, que alimenta la búsqueda de ChatGPT, y ChatGPT-User, que visita páginas cuando un usuario lo pide. ClaudeBot y anthropic-ai son los de Anthropic. PerplexityBot rastrea para el buscador de Perplexity, que cita las fuentes. Google-Extended no es un rastreador: es un interruptor que controla si Google puede usar lo que ya rastreó con Googlebot para entrenar Gemini; bloquearlo no afecta a tu posición en la búsqueda. CCBot es Common Crawl, un archivo público de la web que muchos modelos usan como base de entrenamiento.
Qué decidir
La pregunta es qué quieres. Si quieres aparecer cuando alguien pregunta a un asistente por tu categoría, necesitas que te lean: los asistentes recomiendan lo que conocen y citan lo que pueden visitar. Si lo que te preocupa es que tu contenido entrene modelos sin compensación, puedes bloquear los bots de entrenamiento y dejar los de búsqueda, que es la distinción que OpenAI permite hacer con GPTBot frente a OAI-SearchBot. Para la mayoría de webs de producto, bloquear a los asistentes es renunciar a un canal que crece; para una web de contenido cuyo negocio es el propio contenido, la respuesta puede ser otra.
Para permitir a los asistentes
Quita las líneas Disallow: / de sus grupos, o elimina los grupos. Si el bloqueo viene de un User-agent: * con Disallow: /, ese bloque también está echando a Google: revísalo con robots y sitemap.
Para bloquear solo el entrenamiento
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Ten en cuenta que robots.txt es una petición, no una barrera: los rastreadores serios lo respetan; los que no lo son, no. Si necesitas bloquear de verdad, hace falta hacerlo en el servidor o en el CDN por agente de usuario.
Comprueba que está arreglado
curl -s https://tudominio.com/robots.txt | grep -iE -A3 "user-agent: *(\*|gptbot|claudebot|anthropic-ai|perplexitybot|google-extended|ccbot|oai-searchbot)"Revisa qué Disallow sigue a cada grupo. Un grupo sin Disallow: / permite el rastreo.
Preguntas frecuentes
Mi hosting o mi CDN bloquea los bots de IA por defecto.
Algunos lo hacen (Cloudflare lo ofrece como opción), y eso no se ve en robots.txt: el bot recibe un 403 directamente. Si quieres visibilidad en asistentes, desactívalo en el panel del proveedor. Esta comprobación solo ve el archivo.
¿Bloquearlos ahorra ancho de banda?
Algo, pero menos de lo que parece: estos rastreadores suelen ser moderados. Si el motivo es el coste, limita la frecuencia en lugar de bloquear.
Los permito y aun así los asistentes no me conocen.
Permitir que te lean es la condición necesaria, no la suficiente. El resto, estar en las fuentes que los modelos aprenden, lo mide visibilidad ante la IA, y por qué muchas webs hechas con IA son invisibles lo explica este artículo.