Blocage des crawlers IA
Vérifie si ton robots.txt bloque des bots IA comme GPTBot ou ClaudeBot, limitant ta visibilité en IA.
Ce qu'elle vérifie
Ce scanner vérifie si ton fichier robots.txt bloque les bots d'IA, comme le GPTBot d'OpenAI ou le ClaudeBot d'Anthropic. Il détecte les règles qui empêchent ces crawlers d'accéder à ton contenu.
Pourquoi ça compte
Si tu bloques les crawlers d'IA, ces assistants ne peuvent pas lire ton site ni te citer dans leurs réponses, ce qui réduit ta visibilité là où la recherche est en pleine croissance. Parfois ce blocage est activé par défaut ou en copiant des modèles sans le vouloir.
Comment la corriger
Revois ton robots.txt et retire les règles qui bloquent les bots d'IA si tu veux que ton contenu apparaisse dans leurs réponses. Si tu préfères n'en autoriser que certains, ajuste les directives pour donner accès aux crawlers qui t'intéressent.
Vérifie-le sur ton site
Analyse ton site gratuitement et vois si celle-ci et 44 autres vérifications passent, avec un fix prompt pour chaque problème.
Analyser mon site gratuitement