Du kannst eine wunderschöne Website haben, die die KI schlicht nicht sieht. Wenn jemand ChatGPT, Claude oder Perplexity nach einem Tool wie deinem fragt, „surft" das Modell nicht wie ein Mensch: Es fordert Seiten an, liest, was es bekommt, und entscheidet, wen es zitiert. Kommt dein Inhalt bei diesem Lesen nicht an, existierst du für die KI nicht. Dieser Guide erklärt, wie KIs crawlen, wie du in zehn Minuten prüfst, ob sie dich sehen, welche Fehler das am häufigsten verhindern und wie du sie behebst, je nachdem, wie deine Website gebaut ist.
Wie eine KI deine Website crawlt (und warum es drei verschiedene Bots gibt)
Jeder Anbieter betreibt mehrere Crawler für unterschiedliche Zwecke, und es lohnt sich, sie auseinanderzuhalten, weil du einige erlauben und andere blockieren kannst:
- Training.
GPTBot(OpenAI),ClaudeBot(Anthropic),Google-Extended(steuert die Nutzung für Gemini, nicht die Suche),Bytespider(ByteDance),CCBot(Common Crawl, aus dem viele Modelle schöpfen). Sie sammeln Seiten, um künftige Modelle zu trainieren. - KI-Suche.
OAI-SearchBot(die Suche von ChatGPT),Claude-SearchBot,PerplexityBot. Sie bauen den Index, den der Assistent abfragt, wenn er mit Quellen antwortet. - Live-Besuch.
ChatGPT-User,Claude-User,Perplexity-User: Der Assistent öffnet deine Seite in dem Moment, weil ein Nutzer ihn darum gebeten hat.
Training zu blockieren und die Suche zu erlauben ist eine völlig vernünftige Entscheidung. Aus Versehen alles zu blockieren, wegen eines geerbten Templates, ist das, was vielen Apps passiert.
Sehen ist nicht dasselbe wie Rendern
Viele Vibe Coder veröffentlichen Apps, deren Frontend komplett im Browser per JavaScript zusammengebaut wird (eine SPA mit Vite, Lovable, Bolt oder v0). Für einen Menschen sieht das perfekt aus. Aber die meisten KI-Bots fordern das HTML an und lesen, was ankommt, bevor sie irgendetwas ausführen; manche führen nie JavaScript aus. Erscheint dein Inhalt erst nach dem JS, sehen diese Bots eine fast leere Seite: ein <div id="root"> und wenig mehr.
Schritt 1: Sieh dir dein rohes HTML an
Öffne deine Website, klicke mit rechts und wähle Seitenquelltext anzeigen (nicht „Untersuchen", das zeigt bereits das gerenderte DOM). Suche nach deiner Hauptüberschrift und ein paar Absätzen. Stehen sie nicht in diesem HTML, wird die KI sie wahrscheinlich auch nicht sehen. Noch ein schneller Test: Deaktiviere JavaScript im Browser und lade neu. Was übrig bleibt, ist ungefähr das, was ein einfacher Bot sieht.
Wenn du das Terminal bevorzugst, fordere die Seite so an, wie es der ChatGPT-Bot täte, und zähle, wie viel Text ankommt:
curl -s -A "GPTBot" https://deinedomain.de/ | sed 's/<[^>]*>//g' | wc -w
Ein paar Dutzend Wörter heißen: Der Inhalt steckt im JavaScript. Mehrere hundert heißen: Er kommt im HTML an.
Schritt 2: Prüfe deine robots.txt
Ruf deinedomain.de/robots.txt auf. Stell sicher, dass du KI-Bots nicht versehentlich aussperrst. Ein generisches Disallow: /, ein kopiertes Template oder der „Bot-Fight-Modus" deines CDN können ihnen die Tür zuschlagen. Wenn du Suche und Live-Besuche erlauben willst, aber kein Training, sieht die Datei so aus:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: *
Allow: /
Sitemap: https://deinedomain.de/sitemap.xml
Blockieren ist eine legitime Entscheidung, aber triff sie bewusst, nicht aus Versehen. Und denk daran: robots.txt ist eine Bitte, keine Barriere. Anständige Bots halten sich daran; die anderen nicht.
Schritt 3: Biete eine llms.txt an
Die Datei llms.txt im Stammverzeichnis deiner Domain ist eine Zusammenfassung in reinem Text (Markdown) davon, was du bist und welche Seiten wichtig sind. Sie ist weder Pflicht noch Zauberei, und noch nicht jedes Modell liest sie, aber sie gibt deiner Website einen sauberen Einstiegspunkt und zwingt dich, den einen Satz zu schreiben, der dein Produkt definiert. Ein Minimalbeispiel:
# Dein Produkt
> Dein Produkt ist ein [was es ist] für [wen], das [was es erreicht]. Ein Satz, keine Adjektive.
## Wichtigste Seiten
- [Was es macht](https://deinedomain.de/produkt): Beschreibung in einer Zeile
- [Preise](https://deinedomain.de/preise): Pläne und was jeder enthält
- [Dokumentation](https://deinedomain.de/docs): Erste Schritte
Diesen ersten Satz, der mit „Dein Produkt ist…" beginnt, solltest du wortgleich auf der Startseite, in der Meta Description und in den strukturierten Daten wiederholen: Er ist der, den die Modelle am Ende zitieren.
Schritt 4: Strukturierte Daten, die dich beschreiben
Ein JSON-LD-Block mit Organization (Name, Logo, URL, Beschreibung) und, wenn du etwas verkaufst, SoftwareApplication oder Product mit Preisen gibt dem Modell eindeutige Fakten: was du bist, was du kostest, wo du bist. Hast du häufig gestellte Fragen, zeichne sie als FAQPage aus: Das ist das Format, das dem, wie Nutzer die KI fragen, am nächsten kommt.
Schritt 5: Frag die KI direkt
Öffne ChatGPT, Claude und Perplexity und stell in jedem dieselben drei Fragen: was ist X, was macht X und Alternativen zu X, plus eine vierte, nützlichere: empfiehl mir ein Tool für [das Problem, das du löst]. Achte auf drei Dinge: ob es dich erwähnt, ob das Gesagte stimmt und ob es dich mit jemand anderem verwechselt. Schreib es mit Datum auf. Wiederhole das monatlich: Das ist deine echte Ausgangslage und der einzige Weg zu wissen, ob das, was du änderst, wirkt.
Schritt 6: Füttere sie mit zitierfähigem Inhalt
Modelle zitieren Absätze, die eine Frage beantworten, ohne vom Rest der Seite abzuhängen. Das übersetzt sich in konkrete Gewohnheiten: eine Überschrift, die die Frage ist, die direkte Antwort in den ersten zwei Sätzen, konkrete Fakten (Zahlen, Namen, Daten) statt Adjektive, und eine Seite pro Thema statt einer Seite, die alles erzählt. Steckt deine beste Information in einem Video, einem Bild oder einem PDF, existiert sie für die KI nicht.
So behebst du es, je nachdem, wie deine Website gebaut ist
- Next.js oder Nuxt. Sie rendern bereits auf dem Server, sofern du es nicht abgeschaltet hast. Prüfe, dass Marketingseiten nicht für alles
'use client'nutzen und nicht von Daten abhängen, die nur im Browser geladen werden. - Vite-SPA (Lovable, Bolt, v0). Das HTML kommt leer an. Die Optionen, vom geringsten zum größten Aufwand: die öffentlichen Seiten beim Build vorrendern (Prerender-Plugins), das Marketing auf eine separate statische Seite auslagern oder den öffentlichen Teil auf ein Framework mit SSR migrieren.
- Webflow, Framer, WordPress. Sie liefern vollständiges HTML; hier liegt das Problem meist an der
robots.txt, einem vergessenennoindexoder dem Anti-Bot-Schutz des CDN. - Hinter einem Login. Was eine Session erfordert, sieht niemand. Stell die Beschreibung dessen, was du tust, auf eine öffentliche Seite.
Die Fehler, die es am häufigsten verhindern
- Ein
<meta name="robots" content="noindex">, das aus der Testphase übrig geblieben ist. - Der „Bot-Fight-Modus" oder eine JavaScript-Challenge des CDN, die jeden Crawler gleichermaßen blockiert.
- Eine Website, die Inhalte per Infinite Scroll oder erst nach einem Klick auf einen Button lädt.
- Text in Bildern: Produktname und Nutzenversprechen in einem PNG.
- Eine einzige lange Seite für alles, ohne Überschriften, die sagen, worum es in jedem Teil geht.
So misst du es über die Zeit
Sieh in die Logs deines Servers oder CDN und filtere nach den oben genannten User Agents: Das verrät dir, welche Bots dich besuchen, wie oft und welche Seiten sie anfordern. Taucht keiner auf, prüfe zuerst robots.txt und den CDN-Schutz. Kombiniere das mit der monatlichen Fragerunde aus Schritt 5 und du hast beide Hälften: ob sie dich lesen und ob sie dich zitieren.
Scanaris automatisiert diese Prüfung
Die KI-Sichtbarkeits-Säule von Scanaris prüft, ob dein Inhalt ohne JS lesbar ist, ob du KI-Bots in der robots.txt blockierst, ob du eine llms.txt und strukturierte Daten hast, und sogar, wie ein Modell dich beschreibt, wenn man es nach deiner Marke fragt, mit einem Fix-Prompt für jedes Problem. Alles schreibgeschützt, auf öffentlichen Informationen. Und der Sichtbarkeits-Tracker prüft jeden Tag, ob du auftauchst, wenn jemand nach einer Empfehlung in deiner Kategorie fragt.
Häufig gestellte Fragen
Fliege ich aus ChatGPT, wenn ich GPTBot blockiere?
Du fliegst aus dem Training künftiger Modelle, nicht aus den Antworten mit Suche, die OAI-SearchBot und ChatGPT-User nutzen. Wenn du auftauchen willst, wenn jemand fragt, müssen diese beiden erlaubt sein.
Wie lange dauert es, bis sich eine Änderung zeigt?
Live-Besuche: sofort. Sobald das HTML den Inhalt enthält, liest der Assistent ihn. Suchindizes: Tage bis Wochen. Das „auswendig gelernte" Wissen des Modells: bis zum nächsten Training, das du nicht kontrollierst.
Brauche ich eine llms.txt, wenn ich schon eine Sitemap habe?
Pflicht ist sie nicht. Die Sitemap sagt, welche Seiten existieren; llms.txt sagt in natürlicher Sprache, was du bist und welche Seiten wichtig sind. Dauert zehn Minuten und schadet nicht.