Comment fonctionne cette vérification
Scanaris télécharge ton /robots.txt (s'il n'existe pas ou est du HTML, il ne fait rien) et l'interprète par groupes, comme le font les robots d'exploration : chaque groupe est une ou plusieurs lignes User-agent suivies de leurs règles. Pour six robots d'IA précis, GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended et CCBot, il applique la vraie règle du standard : si le robot a son propre groupe, seul ce groupe compte et le joker * est ignoré pour lui ; sinon, il hérite du groupe *. Un robot est bloqué si le groupe qui s'applique à lui contient Disallow: /. Si c'est le cas pour l'un d'eux, il ouvre un constat informatif qui liste lesquels et explique si c'est par un bloc dédié ou par un User-agent: * avec Disallow: / qui les entraîne tous. C'est informatif parce que les bloquer peut être une décision légitime.
Ce que fait chaque robot
Ils ne sont pas tous pareils, et il vaut mieux le savoir avant de décider. GPTBot est le robot d'OpenAI pour entraîner les modèles ; OpenAI a aussi OAI-SearchBot, qui alimente la recherche de ChatGPT, et ChatGPT-User, qui visite des pages quand un utilisateur le demande. ClaudeBot et anthropic-ai sont ceux d'Anthropic. PerplexityBot explore pour le moteur de Perplexity, qui cite ses sources. Google-Extended n'est pas un robot : c'est un interrupteur qui contrôle si Google peut utiliser ce qu'il a déjà exploré avec Googlebot pour entraîner Gemini ; le bloquer n'affecte pas ton classement dans la recherche. CCBot est Common Crawl, une archive publique du web que beaucoup de modèles utilisent comme base d'entraînement.
Que décider
La question est ce que tu veux. Si tu veux apparaître quand quelqu'un demande à un assistant ta catégorie, il faut qu'ils te lisent : les assistants recommandent ce qu'ils connaissent et citent ce qu'ils peuvent visiter. Si ce qui t'inquiète, c'est que ton contenu entraîne des modèles sans compensation, tu peux bloquer les robots d'entraînement et laisser ceux de recherche, distinction qu'OpenAI permet entre GPTBot et OAI-SearchBot. Pour la plupart des sites de produit, bloquer les assistants revient à renoncer à un canal qui grandit ; pour un site de contenu dont le métier est le contenu lui-même, la réponse peut être différente.
Pour autoriser les assistants
Retire les lignes Disallow: / de leurs groupes, ou supprime les groupes. Si le blocage vient d'un User-agent: * avec Disallow: /, ce bloc met aussi Google dehors : revois-le avec robots et sitemap.
Pour bloquer seulement l'entraînement
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Garde en tête que robots.txt est une demande, pas une barrière : les robots sérieux le respectent ; les autres non. Si tu dois bloquer vraiment, il faut le faire au niveau du serveur ou du CDN par agent utilisateur.
Vérifie que c'est corrigé
curl -s https://tondomaine.com/robots.txt | grep -iE -A3 "user-agent: *(\*|gptbot|claudebot|anthropic-ai|perplexitybot|google-extended|ccbot|oai-searchbot)"Regarde quel Disallow suit chaque groupe. Un groupe sans Disallow: / autorise l'exploration.
Questions fréquentes
Mon hébergeur ou mon CDN bloque les robots d'IA par défaut.
Certains le font (Cloudflare le propose en option), et ça ne se voit pas dans robots.txt : le robot reçoit directement un 403. Si tu veux de la visibilité dans les assistants, désactive-le dans le panneau du fournisseur. Cette vérification ne voit que le fichier.
Les bloquer économise-t-il de la bande passante ?
Un peu, mais moins qu'il n'y paraît : ces robots sont généralement modérés. Si la raison est le coût, limite la fréquence au lieu de bloquer.
Je les autorise et pourtant les assistants ne me connaissent pas.
Les laisser te lire est la condition nécessaire, pas suffisante. Le reste, être dans les sources dont les modèles apprennent, est mesuré par visibilité auprès de l'IA, et pourquoi tant de sites faits avec l'IA sont invisibles est expliqué dans cet article.