Blockade von KI-Crawlern
Prüft, ob deine robots.txt KI-Bots wie GPTBot oder ClaudeBot blockiert und so deine KI-Sichtbarkeit einschränkt.
Was es prüft
Dieser Scanner prüft, ob deine robots.txt KI-Bots blockiert, etwa den GPTBot von OpenAI oder den ClaudeBot von Anthropic. Er erkennt Regeln, die diese Crawler daran hindern, auf deinen Inhalt zuzugreifen.
Warum es wichtig ist
Wenn du KI-Crawler blockierst, können diese Assistenten deine Seite nicht lesen oder dich in ihren Antworten zitieren, was deine Sichtbarkeit genau dort verringert, wo die Suche wächst. Manchmal ist diese Blockade standardmäßig aktiv oder entsteht durch unbeabsichtigtes Kopieren von Vorlagen.
Wie man es behebt
Prüfe deine robots.txt und entferne die Regeln, die KI-Bots blockieren, wenn du willst, dass dein Inhalt in ihren Antworten erscheint. Wenn du lieber nur einige zulassen möchtest, passe die Direktiven an, um den Crawlern Zugriff zu gewähren, die dir wichtig sind.
Prüf es auf deiner Website
Scanne deine Website kostenlos und sieh, ob dieser und 44 weitere Checks bestehen, mit einem Fix-Prompt für jedes Problem.
Meine Website kostenlos scannen