Blokkade van AI-crawlers
Controleert of je robots.txt AI-bots zoals GPTBot of ClaudeBot blokkeert en zo je AI-zichtbaarheid beperkt.
Wat het checkt
Deze scanner controleert of je robots.txt-bestand AI-bots blokkeert, zoals de GPTBot van OpenAI of de ClaudeBot van Anthropic. Hij detecteert regels die die crawlers verhinderen toegang te krijgen tot je content.
Waarom het belangrijk is
Als je AI-crawlers blokkeert, kunnen die assistenten je site niet lezen of je in hun antwoorden citeren, waardoor je zichtbaarheid afneemt juist waar zoeken groeit. Soms staat deze blokkade standaard aan of ontstaat die door onbedoeld templates te kopiëren.
Hoe je het oplost
Bekijk je robots.txt en verwijder de regels die AI-bots blokkeren als je wilt dat je content in hun antwoorden verschijnt. Wil je liever maar enkele toelaten, pas dan de directives aan om toegang te geven aan de crawlers die voor jou belangrijk zijn.
Check het op je site
Scan je site gratis en zie of deze en 44 andere checks slagen, met een fixprompt voor elk probleem.
Mijn site gratis scannen