Tu peux avoir un site magnifique que l'IA ne voit tout simplement pas. Quand quelqu'un demande à ChatGPT, Claude ou Perplexity un outil comme le tien, le modèle ne « navigue » pas comme une personne : il demande des pages, lit ce qu'il reçoit et décide qui citer. Si ton contenu n'arrive pas dans cette lecture, tu n'existes pas pour l'IA. Ce guide explique comment les IA explorent le web, comment vérifier en dix minutes si elles te voient, les erreurs qui l'empêchent le plus souvent et comment les corriger selon la façon dont ton site est construit.
Comment une IA explore ton site (et pourquoi il y a trois bots différents)
Chaque fournisseur utilise plusieurs robots d'exploration à des fins différentes, et il vaut mieux les distinguer parce que tu peux en autoriser certains et en bloquer d'autres :
- Entraînement.
GPTBot(OpenAI),ClaudeBot(Anthropic),Google-Extended(contrôle l'usage pour Gemini, pas pour le moteur de recherche),Bytespider(ByteDance),CCBot(Common Crawl, dont beaucoup de modèles se nourrissent). Ils collectent des pages pour entraîner les futurs modèles. - Recherche IA.
OAI-SearchBot(la recherche de ChatGPT),Claude-SearchBot,PerplexityBot. Ils construisent l'index que l'assistant consulte quand il répond avec des sources. - Visite en direct.
ChatGPT-User,Claude-User,Perplexity-User: l'assistant ouvre ta page sur le moment parce qu'un utilisateur le lui a demandé.
Bloquer l'entraînement et autoriser la recherche est une décision parfaitement raisonnable. Tout bloquer par accident, à cause d'un template hérité, c'est ce qui arrive à beaucoup d'apps.
Voir n'est pas la même chose que rendre
Beaucoup de vibe coders lancent des apps dont le front se construit entièrement dans le navigateur avec JavaScript (une SPA faite avec Vite, Lovable, Bolt ou v0). Pour un humain, c'est parfait. Mais la plupart des bots d'IA demandent le HTML et lisent ce qui arrive avant d'exécuter quoi que ce soit ; certains n'exécutent jamais de JavaScript. Si ton contenu n'apparaît qu'après le JS, ces bots voient une page presque vide : une <div id="root"> et pas grand-chose d'autre.
Étape 1 : regarde ton HTML brut
Ouvre ton site, fais un clic droit et choisis afficher le code source (pas « inspecter », qui montre déjà le DOM rendu). Cherche ton titre principal et quelques paragraphes. S'ils ne sont pas dans ce HTML, l'IA ne les verra probablement pas non plus. Autre test rapide : désactive JavaScript dans le navigateur et recharge. Ce qui reste est, à peu près, ce que voit un bot basique.
Si tu préfères le terminal, demande la page comme le ferait le bot de ChatGPT et compte la quantité de texte qui arrive :
curl -s -A "GPTBot" https://tondomaine.com/ | sed 's/<[^>]*>//g' | wc -w
Quelques dizaines de mots signifient que le contenu est dans le JavaScript. Plusieurs centaines, qu'il arrive dans le HTML.
Étape 2 : vérifie ton robots.txt
Va sur tondomaine.com/robots.txt. Vérifie que tu ne bloques pas les bots d'IA sans le vouloir. Un Disallow: / générique, un template copié ou le « mode anti-bots » de ton CDN peuvent leur fermer la porte. Si tu veux autoriser la recherche et les visites en direct mais pas l'entraînement, le fichier ressemble à ceci :
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://tondomaine.com/sitemap.xml
Bloquer est une décision légitime, mais fais-le exprès, pas par accident. Et souviens-toi que robots.txt est une demande, pas une barrière : les bots respectueux s'y conforment ; les autres, non.
Étape 3 : propose un llms.txt
Le fichier llms.txt à la racine de ton domaine est un résumé en texte brut (Markdown) de ce que tu es et des pages qui comptent. Il n'est ni obligatoire ni magique, et tous les modèles ne le lisent pas encore, mais il donne un point d'entrée propre à ton site et t'oblige à écrire la phrase qui définit ton produit. Un exemple minimal :
# Ton produit
> Ton produit est un [ce que c'est] pour [qui] qui [ce qu'il permet]. Une phrase, sans adjectifs.
## Pages principales
- [Ce qu'il fait](https://tondomaine.com/produit) : description en une ligne
- [Tarifs](https://tondomaine.com/tarifs) : les offres et ce que chacune inclut
- [Documentation](https://tondomaine.com/docs) : comment démarrer
Cette première phrase, celle qui commence par « Ton produit est… », mérite d'être répétée à l'identique sur la page d'accueil, dans la meta description et dans les données structurées : c'est celle que les modèles finissent par citer.
Étape 4 : des données structurées qui te décrivent
Un bloc JSON-LD avec Organization (nom, logo, URL, description) et, si tu vends quelque chose, SoftwareApplication ou Product avec les prix, donne au modèle des faits sans ambiguïté : ce que tu es, combien tu coûtes, où tu es. Si tu as une foire aux questions, balise-la en FAQPage : c'est le format qui ressemble le plus à la façon dont les utilisateurs interrogent l'IA.
Étape 5 : demande directement à l'IA
Ouvre ChatGPT, Claude et Perplexity et pose les trois mêmes questions à chacun : qu'est-ce que X, que fait X et alternatives à X, plus une quatrième, plus utile : recommande-moi un outil pour [le problème que tu résous]. Observe trois choses : s'il te mentionne, si ce qu'il dit est exact et s'il te confond avec un autre. Note tout avec la date. Recommence chaque mois : c'est ton vrai point de départ et la seule façon de savoir si ce que tu changes fonctionne.
Étape 6 : donne-lui du contenu citable
Les modèles citent des paragraphes qui répondent à une question sans dépendre du reste de la page. Ça se traduit par des habitudes concrètes : un titre qui est la question, la réponse directe dans les deux premières phrases, des faits concrets (chiffres, noms, dates) plutôt que des adjectifs, et une page par sujet plutôt qu'une page qui raconte tout. Si ta meilleure information est dans une vidéo, une image ou un PDF, pour l'IA elle n'existe pas.
Comment corriger selon la façon dont ton site est construit
- Next.js ou Nuxt. Ils font déjà du rendu côté serveur si tu ne l'as pas désactivé. Vérifie que les pages marketing n'utilisent pas
'use client'pour tout et ne dépendent pas de données qui ne se chargent que dans le navigateur. - SPA avec Vite (Lovable, Bolt, v0). Le HTML arrive vide. Les options, de la moins à la plus coûteuse : prérendre les pages publiques au build (plugins de prerender), déplacer le marketing vers un site statique à part, ou migrer la partie publique vers un framework avec SSR.
- Webflow, Framer, WordPress. Ils servent du HTML complet ; ici le problème vient en général de
robots.txt, d'unnoindexoublié ou de la protection anti-bots du CDN. - Derrière un login. Ce qui exige une session, personne ne le voit. Mets la description de ce que tu fais sur une page publique.
Les erreurs qui l'empêchent le plus souvent
- Une balise
<meta name="robots" content="noindex">restée de la phase de test. - Le « mode anti-bots » ou un défi JavaScript du CDN qui bloque tous les robots sans distinction.
- Un site qui charge son contenu en scroll infini ou après un clic sur un bouton.
- Du texte dans des images : le nom du produit et sa proposition de valeur dans un PNG.
- Une seule longue page pour tout, sans titres qui disent de quoi parle chaque partie.
Comment le mesurer dans le temps
Regarde les logs de ton serveur ou de ton CDN et filtre par les user agents ci-dessus : ça te dira quels bots te visitent, à quelle fréquence et quelles pages ils demandent. Si aucun n'apparaît, vérifie d'abord robots.txt et la protection du CDN. Combine ça avec la tournée mensuelle de questions de l'étape 5 et tu as les deux moitiés : s'ils te lisent et s'ils te citent.
Scanaris automatise cette vérification
Le pilier visibilité IA de Scanaris vérifie si ton contenu est lisible sans JS, si tu bloques des bots d'IA dans robots.txt, si tu as un llms.txt et des données structurées, et même comment un modèle te décrit quand on l'interroge sur ta marque, avec un fix prompt pour chaque problème. Le tout en lecture seule, sur des informations publiques. Et le suivi de visibilité vérifie chaque jour si tu apparais quand quelqu'un demande une recommandation dans ta catégorie.
Questions fréquentes
Bloquer GPTBot me retire-t-il de ChatGPT ?
Ça te retire de l'entraînement des futurs modèles, pas des réponses avec recherche, qui utilisent OAI-SearchBot et ChatGPT-User. Si tu veux apparaître quand quelqu'un pose une question, ces deux-là doivent être autorisés.
Combien de temps avant qu'un changement se voie ?
Les visites en direct, immédiatement : dès que le HTML contient le contenu, l'assistant le lit. Les index de recherche, de quelques jours à quelques semaines. Les connaissances « mémorisées » du modèle, jusqu'au prochain entraînement, que tu ne contrôles pas.
Ai-je besoin d'un llms.txt si j'ai déjà un sitemap ?
Ce n'est pas obligatoire. Le sitemap dit quelles pages existent ; llms.txt dit ce que tu es et lesquelles comptent, en langage naturel. Ça prend dix minutes et ça ne gêne pas.