Zo weet je of ChatGPT je site kan zien (en aanbevelen)

Je kunt een prachtige site hebben die de AI simpelweg niet ziet. Als iemand ChatGPT, Claude of Perplexity om een tool als die van jou vraagt, "surft" het model niet zoals een mens: het vraagt pagina's op, leest wat het binnenkrijgt en beslist wie het citeert. Komt je inhoud bij dat lezen niet aan, dan besta je voor de AI niet. Deze gids legt uit hoe AI's crawlen, hoe je in tien minuten controleert of ze je zien, welke fouten dat het vaakst in de weg zitten en hoe je ze oplost, afhankelijk van hoe je site is gebouwd.

Hoe een AI je site crawlt (en waarom er drie verschillende bots zijn)

Elke aanbieder draait meerdere crawlers met verschillende doelen, en het loont om ze uit elkaar te houden, omdat je sommige kunt toestaan en andere blokkeren:

• Training. GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (regelt het gebruik voor Gemini, niet voor de zoekmachine), Bytespider (ByteDance), CCBot (Common Crawl, waaruit veel modellen putten). Ze verzamelen pagina's om toekomstige modellen te trainen.
• AI-zoeken. OAI-SearchBot (het zoeken van ChatGPT), Claude-SearchBot, PerplexityBot. Ze bouwen de index die de assistent raadpleegt als hij met bronnen antwoordt.
• Live bezoek. ChatGPT-User, Claude-User, Perplexity-User: de assistent opent je pagina op dat moment omdat een gebruiker erom vroeg.

Training blokkeren en zoeken toestaan is een volkomen redelijke keuze. Per ongeluk alles blokkeren, door een overgeërfd template, is wat veel apps overkomt.

Zien is niet hetzelfde als renderen

Veel vibe coders lanceren apps met een frontend die volledig in de browser met JavaScript wordt opgebouwd (een SPA gemaakt met Vite, Lovable, Bolt of v0). Voor een mens ziet het er perfect uit. Maar de meeste AI-bots vragen de HTML op en lezen wat binnenkomt voordat ze iets uitvoeren; sommige voeren nooit JavaScript uit. Verschijnt je inhoud pas na de JS, dan zien die bots een vrijwel lege pagina: een <div id="root"> en weinig meer.

Stap 1: bekijk je ruwe HTML

Open je site, klik met rechts en kies paginabron bekijken (niet "inspecteren", dat toont al de gerenderde DOM). Zoek je hoofdkop en een paar alinea's. Staan ze niet in die HTML, dan ziet de AI ze waarschijnlijk ook niet. Nog een snelle test: schakel JavaScript in de browser uit en herlaad. Wat overblijft is ongeveer wat een basale bot ziet.

Werk je liever in de terminal, vraag de pagina dan op zoals de bot van ChatGPT dat zou doen en tel hoeveel tekst er binnenkomt:

curl -s -A "GPTBot" https://jouwdomein.nl/ | sed 's/<[^>]*>//g' | wc -w

Een paar dozijn woorden betekent dat de inhoud in de JavaScript zit. Enkele honderden betekent dat hij in de HTML aankomt.

Stap 2: controleer je robots.txt

Ga naar jouwdomein.nl/robots.txt. Controleer dat je AI-bots niet per ongeluk buitensluit. Een generieke Disallow: /, een gekopieerd template of de "bot fight mode" van je CDN kan de deur voor ze dichtgooien. Wil je zoeken en live bezoeken toestaan maar training niet, dan ziet het bestand er zo uit:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: *
Allow: /

Sitemap: https://jouwdomein.nl/sitemap.xml

Blokkeren is een legitieme keuze, maar doe het bewust, niet per ongeluk. En onthoud dat robots.txt een verzoek is, geen barrière: nette bots houden zich eraan; de rest niet.

Stap 3: bied een llms.txt aan

Het bestand llms.txt in de root van je domein is een samenvatting in platte tekst (Markdown) van wat je bent en welke pagina's ertoe doen. Het is niet verplicht en geen toverformule, en nog niet elk model leest het, maar het geeft je site een schoon instappunt en dwingt je om de ene zin te schrijven die je product definieert. Een minimaal voorbeeld:

# Jouw product

> Jouw product is een [wat het is] voor [wie] dat [wat het oplevert]. Eén zin, geen bijvoeglijke naamwoorden.

## Belangrijkste pagina's
- [Wat het doet](https://jouwdomein.nl/product): beschrijving in één regel
- [Prijzen](https://jouwdomein.nl/prijzen): plannen en wat elk bevat
- [Documentatie](https://jouwdomein.nl/docs): hoe je begint

Die eerste zin, die begint met "Jouw product is…", herhaal je het beste woordelijk op de homepage, in de meta description en in de gestructureerde data: dat is de zin die modellen uiteindelijk citeren.

Stap 4: gestructureerde data die jou beschrijft

Een JSON-LD-blok met Organization (naam, logo, URL, beschrijving) en, als je iets verkoopt, SoftwareApplication of Product met prijzen, geeft het model ondubbelzinnige feiten: wat je bent, wat je kost, waar je zit. Heb je veelgestelde vragen, markeer ze dan als FAQPage: dat is het formaat dat het dichtst ligt bij hoe gebruikers de AI iets vragen.

Stap 5: vraag het de AI rechtstreeks

Open ChatGPT, Claude en Perplexity en stel in elk dezelfde drie vragen: wat is X, wat doet X en alternatieven voor X, plus een vierde, nuttigere: raad me een tool aan voor [het probleem dat jij oplost]. Let op drie dingen: of hij je noemt, of wat hij zegt klopt en of hij je met een ander verwart. Schrijf het op met datum. Herhaal het maandelijks: dit is je echte startpunt en de enige manier om te weten of wat je verandert werkt.

Stap 6: voer hem citeerbare inhoud

Modellen citeren alinea's die een vraag beantwoorden zonder van de rest van de pagina af te hangen. Dat vertaalt zich in concrete gewoontes: een kop die de vraag is, het directe antwoord in de eerste twee zinnen, concrete feiten (cijfers, namen, data) in plaats van bijvoeglijke naamwoorden, en één pagina per onderwerp in plaats van één pagina die alles vertelt. Zit je beste informatie in een video, een afbeelding of een pdf, dan bestaat ze voor de AI niet.

Zo los je het op, afhankelijk van hoe je site is gebouwd

• Next.js of Nuxt. Die renderen al op de server als je het niet hebt uitgezet. Controleer dat marketingpagina's niet overal 'use client' gebruiken en niet afhangen van data die alleen in de browser laadt.
• Vite-SPA (Lovable, Bolt, v0). De HTML komt leeg aan. De opties, van minst naar meest werk: de publieke pagina's bij de build prerenderen (prerender-plugins), de marketing naar een aparte statische site verplaatsen, of het publieke deel migreren naar een framework met SSR.
• Webflow, Framer, WordPress. Die serveren volledige HTML; hier zit het probleem meestal in robots.txt, een vergeten noindex of de anti-botbescherming van het CDN.
• Achter een login. Wat een sessie vereist, ziet niemand. Zet de beschrijving van wat je doet op een publieke pagina.

De fouten die het het vaakst in de weg zitten

• Een <meta name="robots" content="noindex"> die is blijven staan uit de testfase.
• De "bot fight mode" of een JavaScript-challenge van het CDN die elke crawler zonder onderscheid blokkeert.
• Een site die inhoud laadt via infinite scroll of pas na een klik op een knop.
• Tekst in afbeeldingen: de productnaam en waardepropositie in een PNG.
• Eén lange pagina voor alles, zonder koppen die zeggen waar elk deel over gaat.

Zo meet je het door de tijd heen

Kijk in de logs van je server of CDN en filter op de user agents hierboven: dat vertelt je welke bots je bezoeken, hoe vaak en welke pagina's ze opvragen. Verschijnt er geen enkele, controleer dan eerst robots.txt en de CDN-bescherming. Combineer dat met de maandelijkse vragenronde uit stap 5 en je hebt beide helften: of ze je lezen en of ze je citeren.

Scanaris automatiseert deze controle

De AI-zichtbaarheidspijler van Scanaris controleert of je inhoud leesbaar is zonder JS, of je AI-bots blokkeert in robots.txt, of je een llms.txt en gestructureerde data hebt, en zelfs hoe een model je beschrijft als je ernaar vraagt op je merknaam, met een fix prompt voor elk probleem. Alles read-only, op publieke informatie. En de zichtbaarheidstracker controleert elke dag of je opduikt als iemand om een aanbeveling in jouw categorie vraagt.

Veelgestelde vragen

Haalt het blokkeren van GPTBot me uit ChatGPT?

Het haalt je uit de training van toekomstige modellen, niet uit de antwoorden met zoeken, die OAI-SearchBot en ChatGPT-User gebruiken. Wil je opduiken als iemand iets vraagt, dan moeten die twee toegestaan zijn.

Hoe lang duurt het voordat een wijziging zichtbaar is?

Live bezoeken: meteen. Zodra de HTML de inhoud bevat, leest de assistent hem. Zoekindexen: dagen tot weken. De "uit het hoofd geleerde" kennis van het model: tot de volgende trainingsronde, en daar heb je geen controle over.

Heb ik een llms.txt nodig als ik al een sitemap heb?

Verplicht is het niet. De sitemap zegt welke pagina's er zijn; llms.txt zegt in gewone taal wat je bent en welke pagina's ertoe doen. Het kost tien minuten en zit niemand in de weg.