Bloqueo de crawlers de IA
Comprueba si tu robots.txt bloquea bots de IA como GPTBot o ClaudeBot, limitando tu visibilidad en IA.
Qué comprueba
Este escáner comprueba si tu archivo robots.txt bloquea a los bots de IA, como GPTBot de OpenAI o ClaudeBot de Anthropic. Detecta reglas que impiden que esos rastreadores accedan a tu contenido.
Por qué importa
Si bloqueas a los crawlers de IA, esos asistentes no podrán leer tu web ni citarte en sus respuestas, reduciendo tu visibilidad justo donde la búsqueda está creciendo. A veces este bloqueo se activa por defecto o por copiar plantillas sin querer.
Cómo se arregla
Revisa tu robots.txt y elimina las reglas que bloquean bots de IA si quieres que tu contenido aparezca en sus respuestas. Si prefieres permitir solo algunos, ajusta las directivas para dar acceso a los rastreadores que te interesen.
Compruébalo en tu web
Escanea tu web gratis y mira si este y otros 44 checks pasan, con un prompt de arreglo por cada fallo.
Escanear mi web gratis