Wie diese Prüfung funktioniert
Scanaris lädt deine /robots.txt herunter (existiert sie nicht oder ist sie HTML, tut es nichts) und interpretiert sie in Gruppen, wie Crawler es tun: Jede Gruppe sind eine oder mehrere User-agent-Zeilen, gefolgt von ihren Regeln. Für sechs konkrete KI-Crawler, GPTBot, ClaudeBot, anthropic-ai, PerplexityBot, Google-Extended und CCBot, wendet es die echte Regel des Standards an: Hat der Bot eine eigene Gruppe, zählt nur diese und das Platzhalter-* wird für ihn ignoriert; hat er keine, erbt er die *-Gruppe. Ein Bot ist gesperrt, wenn die für ihn geltende Gruppe Disallow: / enthält. Ist das bei einem der Fall, öffnet es einen informativen Befund, der auflistet, welche, und erklärt, ob es durch einen eigenen Block geschieht oder durch ein User-agent: * mit Disallow: /, das alle mitreißt. Informativ, weil das Sperren eine legitime Entscheidung sein kann.
Was jeder Bot tut
Sie sind nicht alle gleich, und das sollte man wissen, bevor man entscheidet. GPTBot ist der Crawler von OpenAI zum Trainieren von Modellen; OpenAI hat außerdem OAI-SearchBot, der die ChatGPT-Suche speist, und ChatGPT-User, der Seiten besucht, wenn ein Nutzer es verlangt. ClaudeBot und anthropic-ai gehören Anthropic. PerplexityBot crawlt für die Perplexity-Suche, die ihre Quellen zitiert. Google-Extended ist kein Crawler: Es ist ein Schalter, der steuert, ob Google das, was es bereits mit Googlebot gecrawlt hat, zum Trainieren von Gemini nutzen darf; ihn zu sperren beeinflusst dein Suchranking nicht. CCBot ist Common Crawl, ein öffentliches Webarchiv, das viele Modelle als Trainingsbasis nutzen.
Was zu entscheiden ist
Die Frage ist, was du willst. Willst du erscheinen, wenn jemand einen Assistenten nach deiner Kategorie fragt, müssen sie dich lesen können: Assistenten empfehlen, was sie kennen, und zitieren, was sie besuchen können. Stört dich, dass dein Inhalt ohne Gegenleistung Modelle trainiert, kannst du die Trainings-Bots sperren und die Such-Bots lassen; genau diese Unterscheidung erlaubt OpenAI zwischen GPTBot und OAI-SearchBot. Für die meisten Produktseiten bedeutet das Sperren der Assistenten, auf einen wachsenden Kanal zu verzichten; für eine Inhaltsseite, deren Geschäft der Inhalt selbst ist, kann die Antwort anders ausfallen.
Um Assistenten zuzulassen
Entferne die Disallow: /-Zeilen aus ihren Gruppen oder lösche die Gruppen. Stammt die Sperre aus einem User-agent: * mit Disallow: /, sperrt dieser Block auch Google aus: Prüf ihn mit robots und Sitemap.
Um nur das Training zu sperren
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Bedenke, dass robots.txt eine Bitte ist, keine Schranke: Seriöse Crawler halten sich daran, die anderen nicht. Musst du wirklich sperren, muss das am Server oder im CDN nach User-Agent geschehen.
Prüf, ob es behoben ist
curl -s https://deinedomain.de/robots.txt | grep -iE -A3 "user-agent: *(\*|gptbot|claudebot|anthropic-ai|perplexitybot|google-extended|ccbot|oai-searchbot)"Schau, welches Disallow auf jede Gruppe folgt. Eine Gruppe ohne Disallow: / erlaubt das Crawlen.
Häufige Fragen
Mein Hoster oder mein CDN sperrt KI-Bots standardmäßig.
Manche tun das (Cloudflare bietet es als Option an), und das ist in der robots.txt nicht zu sehen: Der Bot bekommt direkt einen 403. Willst du Sichtbarkeit in Assistenten, schalte es im Panel des Anbieters ab. Diese Prüfung sieht nur die Datei.
Spart das Sperren Bandbreite?
Etwas, aber weniger als es scheint: Diese Crawler sind meist moderat. Sind die Kosten der Grund, begrenze die Frequenz statt zu sperren.
Ich lasse sie zu und die Assistenten kennen mich trotzdem nicht.
Sich lesen zu lassen ist die notwendige, nicht die hinreichende Bedingung. Den Rest, in den Quellen zu stehen, aus denen Modelle lernen, misst KI-Sichtbarkeit, und warum so viele KI-gebaute Seiten unsichtbar sind, erklärt dieser Artikel.