Robots, Sitemap und Indexierung

Wie diese Prüfung funktioniert

Scanaris tut drei Dinge. Erstens fordert es /robots.txt an und hält sie nur für gültig, wenn sie mit 200 antwortet und kein HTML ist (Single-Page-Apps liefern ihre Seite für jeden Pfad); sonst öffnet es einen Befund mit niedrigem Schweregrad. Zweitens fordert es /sitemap.xml an und hält sie für gültig, wenn sie mit 200 antwortet und ein <urlset>- oder <sitemapindex>-Tag enthält; findet es sie dort nicht, aber die robots.txt hat eine Sitemap:-Zeile, akzeptiert es das ebenfalls; andernfalls Befund mit niedrigem Schweregrad. Drittens prüft es, ob die gescannte Seite ein noindex trägt, im Tag <meta name="robots"> oder im HTTP-Header X-Robots-Tag; wenn ja, öffnet es einen Befund mit mittlerem Schweregrad, weil diese Seite nicht bei Google erscheinen wird.

Warum das wichtig ist

Die robots.txt ist die erste URL, die jeder Crawler besucht, und der Ort, an dem du ihm sagst, was er durchsuchen darf und wo deine Sitemap liegt. Die Sitemap ist die Liste der URLs, die Google indexieren soll, mit ihrem Änderungsdatum: Ohne sie entdeckt Google deine Seiten über Links, was langsamer ist und die schwach verlinkten auslässt. Beide haben niedrigen Schweregrad, weil ihr Fehlen die Indexierung nicht verhindert, sondern nur verschlechtert. noindex ist etwas anderes: ein direkter Befehl an Google, diese Seite nicht zu zeigen, und auf der Startseite heißt das, dass deine Website in der Suchmaschine nicht existiert. Es ist der verheerendste und leiseste SEO-Fehler überhaupt, und fast immer ein Überbleibsel der Testumgebung.

So behebst du es

robots.txt

User-agent: *
Allow: /
Sitemap: https://deinedomain.de/sitemap.xml

Eine reine Textdatei im Root. Nuxt und Next.js haben Module und Konventionen (app/robots.ts), die sie erzeugen; bei einer statischen Seite gehört sie in den Ordner public. Liste darin keine privaten Routen auf: Sie ist öffentlich, und du würdest sie jedem zeigen, wie sensible Pfade in robots erklärt.

Sitemap

Nuxt: Das Sitemap-Modul erzeugt sie aus den Routen und den URLs, die du ihm übergibst (Beiträge, Produkte).
Next.js: eine Datei app/sitemap.ts, die die URL-Liste zurückgibt.
WordPress: erzeugt seit Version 5.5 selbst eine unter /wp-sitemap.xml; füge diese Zeile der robots hinzu oder lass Yoast oder Rank Math sie unter /sitemap_index.xml ablegen.
Astro, Hugo, Jekyll: ein offizielles Plugin oder eine Integration.

Nur indexierbare, kanonische URLs, die mit 200 antworten. Reiche sie in der Google Search Console und den Bing Webmaster Tools ein: So erfährst du, wie viele dieser URLs tatsächlich indexiert sind.

noindex auf der Seite

Such, woher es kommt. In Nuxt kann das Robots-Modul noindex anhand einer Umgebungsvariable setzen, die manchmal von der Test- in die Produktionsumgebung kopiert wird. In Next.js metadata.robots. In WordPress die Einstellung „Suchmaschinen davon abhalten, diese Website zu indexieren" unter Lesen, die jemand während der Bauphase aktiviert hat. Auf Vercel tragen Preview-Deployments automatisch X-Robots-Tag: noindex, das Produktions-Deployment aber nicht; siehst du es in Produktion, hast du es selbst in der Header-Konfiguration hinzugefügt.

Prüf, ob es behoben ist

curl -s https://deinedomain.de/robots.txt
curl -s https://deinedomain.de/sitemap.xml | head -5
curl -sI https://deinedomain.de | grep -i x-robots-tag
curl -s https://deinedomain.de | grep -oiE '<meta name="robots"[^>]*>'

Die ersten beiden sollten Text und XML zeigen, kein HTML. Die letzten beiden dürfen kein noindex enthalten (ein Robots-Meta mit index, follow oder max-image-preview ist normal).

Häufige Fragen

Meine Sitemap liegt auf einem anderen Pfad, etwa /sitemap_index.xml.

Jeder Pfad funktioniert, solange die robots.txt ihn mit der Zeile Sitemap: referenziert. Die Prüfung schaut dort nach, bevor sie den Befund meldet.

Ich will meine Website vorerst nicht bei Google.

Dann ist das noindex korrekt und du kannst den Befund akzeptieren. Aber setz dir eine Erinnerung: Die meisten Websites mit noindex in Produktion haben es nicht absichtlich.

Betrifft die robots.txt die KI-Bots?

Ja, es ist dieselbe Datei, in der GPTBot, ClaudeBot oder PerplexityBot erlaubt oder gesperrt werden. Was du erlaubst und was sinnvoll ist, behandelt KI-Crawler.