Hoe deze controle werkt
Scanaris downloadt je /robots.txt (bestaat hij niet of is het HTML, dan doet hij niets) en interpreteert hem per groep, zoals crawlers dat doen: elke groep bestaat uit een of meer User-agent-regels gevolgd door hun regels. Voor zes specifieke AI-crawlers, GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended en CCBot, past hij de echte regel van de standaard toe: heeft de bot een eigen groep, dan telt alleen die groep en wordt de *-wildcard voor hem genegeerd; heeft hij er geen, dan erft hij de *-groep. Een bot is geblokkeerd als de groep die op hem van toepassing is Disallow: / bevat. Is dat voor een van hen het geval, dan opent hij een informatieve bevinding die opsomt welke en uitlegt of het door een eigen blok komt of door een User-agent: * met Disallow: / dat ze allemaal meesleept. Het is informatief omdat ze blokkeren een legitieme beslissing kan zijn.
Wat elke bot doet
Ze zijn niet allemaal hetzelfde, en dat is goed om te weten voordat je beslist. GPTBot is de crawler van OpenAI om modellen te trainen; OpenAI heeft daarnaast OAI-SearchBot, die de zoekfunctie van ChatGPT voedt, en ChatGPT-User, die pagina's bezoekt wanneer een gebruiker erom vraagt. ClaudeBot en anthropic-ai zijn die van Anthropic. PerplexityBot crawlt voor de zoekmachine van Perplexity, die zijn bronnen citeert. Google-Extended is geen crawler: het is een schakelaar die bepaalt of Google wat het al met Googlebot crawlde mag gebruiken om Gemini te trainen; het blokkeren beïnvloedt je zoekranking niet. CCBot is Common Crawl, een openbaar webarchief dat veel modellen als trainingsbasis gebruiken.
Wat te beslissen
De vraag is wat je wilt. Wil je verschijnen wanneer iemand een assistent naar je categorie vraagt, dan moeten ze je kunnen lezen: assistenten bevelen aan wat ze kennen en citeren wat ze kunnen bezoeken. Zit je ermee dat je inhoud zonder vergoeding modellen traint, dan kun je de trainingsbots blokkeren en de zoekbots laten, het onderscheid dat OpenAI mogelijk maakt tussen GPTBot en OAI-SearchBot. Voor de meeste productsites betekent assistenten blokkeren afzien van een groeiend kanaal; voor een contentsite waarvan de content zelf het verdienmodel is, kan het antwoord anders zijn.
Om assistenten toe te laten
Verwijder de Disallow: /-regels uit hun groepen, of verwijder de groepen. Komt de blokkade van een User-agent: * met Disallow: /, dan sluit dat blok ook Google buiten: bekijk het met robots en sitemap.
Om alleen training te blokkeren
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Bedenk dat robots.txt een verzoek is, geen barrière: serieuze crawlers respecteren het; de andere niet. Moet je echt blokkeren, dan moet dat op de server of het CDN per user agent.
Controleer of het opgelost is
curl -s https://jouwdomein.nl/robots.txt | grep -iE -A3 "user-agent: *(\*|gptbot|claudebot|anthropic-ai|perplexitybot|google-extended|ccbot|oai-searchbot)"Kijk welke Disallow op elke groep volgt. Een groep zonder Disallow: / staat crawlen toe.
Veelgestelde vragen
Mijn hoster of CDN blokkeert AI-bots standaard.
Sommige doen dat (Cloudflare biedt het als optie), en dat is niet te zien in robots.txt: de bot krijgt direct een 403. Wil je zichtbaarheid in assistenten, schakel het dan uit in het paneel van de aanbieder. Deze controle ziet alleen het bestand.
Bespaart ze blokkeren bandbreedte?
Een beetje, maar minder dan het lijkt: deze crawlers zijn meestal gematigd. Zijn de kosten de reden, beperk dan de frequentie in plaats van te blokkeren.
Ik sta ze toe en toch kennen de assistenten me niet.
Je laten lezen is de noodzakelijke voorwaarde, niet de voldoende. De rest, aanwezig zijn in de bronnen waarvan modellen leren, wordt gemeten door AI-zichtbaarheid, en waarom zoveel met AI gebouwde sites onzichtbaar zijn, wordt uitgelegd in dit artikel.