XML-Sitemap und robots.txt: So sagen Sie Google, welche Seiten zählen

Sie haben eine Website mit vielen Unterseiten, aber bei Google taucht nur ein Bruchteil davon auf. Oft liegt das nicht am Text und nicht an den Backlinks, sondern an zwei unscheinbaren Dateien: der XML-Sitemap und der robots.txt. Beide sagen Google, welche Seiten es überhaupt ansehen soll und welche nicht. Sind sie falsch eingestellt, arbeitet die beste Optimierung ins Leere.

Was eine XML-Sitemap ist und warum Google sie braucht

Eine XML-Sitemap ist eine Liste aller Seiten Ihrer Website, die in den Suchergebnissen erscheinen sollen. Sie liegt meist unter ihre-domain.de/sitemap.xml und enthält neben der Adresse jeder Seite auch das Datum der letzten Änderung.

Google findet Seiten normalerweise über Links. Wenn eine Seite tief in Ihrer Menüstruktur liegt oder nur über ein Formular erreichbar ist, kann sie durchs Raster fallen. Genau dafür gibt es die Sitemap: Sie ist die Inhaltsübersicht, die Sie Google direkt in die Hand drücken.

Besonders wichtig wird das bei zwei Gruppen. Erstens bei Onlineshops mit vielen Produkt und Kategorieseiten. Zweitens bei lokalen Betrieben, die für jede Leistung und jeden Standort eine eigene Seite betreiben. In beiden Fällen entscheidet die Sitemap mit darüber, wie schnell neue Seiten überhaupt in den Index kommen.

robots.txt: der Türsteher Ihrer Website

Die robots.txt liegt unter ihre-domain.de/robots.txt und macht das Gegenteil. Sie legt fest, welche Bereiche Suchmaschinen nicht abrufen sollen. Typische Kandidaten sind der Login-Bereich, interne Suchergebnisseiten oder der Warenkorb.

Wichtig ist der Unterschied zur Indexierung. Die robots.txt verhindert das Abrufen, nicht zwangsläufig die Aufnahme in den Index. Eine Seite, die per robots.txt gesperrt ist, aber von außen verlinkt wird, kann trotzdem in den Suchergebnissen auftauchen, dann allerdings ohne Beschreibungstext. Wenn eine Seite wirklich nicht in Google erscheinen soll, ist ein noindex-Tag der richtige Weg, nicht die robots.txt.

Die häufigsten Fehler in der Praxis

Diese Probleme sehen wir bei Website-Analysen immer wieder:

Die komplette Seite ist gesperrt. Nach einem Relaunch bleibt manchmal ein Disallow für die gesamte Website stehen. Die Folge: Google verliert nach und nach alle Rankings.
CSS und JavaScript sind blockiert. Dann kann Google die Seite nicht so rendern, wie ein Besucher sie sieht, und bewertet vor allem die mobile Darstellung schlechter.
Die Sitemap enthält Müll. Weiterleitungen, 404-Seiten oder Seiten mit noindex haben in der Sitemap nichts verloren. Sie kosten Vertrauen.
Die Sitemap wird nie aktualisiert. Statische Listen aus einem alten Projekt bilden den heutigen Stand nicht mehr ab.
Widersprüchliche Signale. Eine Seite steht in der Sitemap, ist aber gleichzeitig per robots.txt gesperrt. Google muss raten, und das endet selten gut.

So richten Sie beides sauber ein

Der gute Teil: Sie müssen dafür nichts programmieren. Alle gängigen Systeme erzeugen die Sitemap automatisch. In WordPress übernimmt das ein SEO-Plugin, Shopware und Shopify bringen die Funktion bereits mit, und auch Baukastensysteme legen die Datei selbst an. Ihre Aufgabe ist die Kontrolle, nicht die Technik.

Gehen Sie in dieser Reihenfolge vor:

Rufen Sie ihre-domain.de/sitemap.xml auf und prüfen Sie, ob die Datei existiert und aktuell ist.
Stichprobe: Öffnen Sie fünf Adressen aus der Liste. Jede sollte mit Status 200 laden, ohne Weiterleitung.
Rufen Sie ihre-domain.de/robots.txt auf. Steht dort ein pauschales Disallow: / für alle Bots, haben Sie den dringendsten Fehler gefunden.
Prüfen Sie, ob die Sitemap am Ende der robots.txt verlinkt ist. Eine Zeile genügt: Sitemap: https://ihre-domain.de/sitemap.xml
Sperren Sie gezielt nur Bereiche ohne Suchwert, etwa Warenkorb, Konto und interne Suche.

Bei Shops kommt ein Punkt dazu: Filter und Sortier-Parameter erzeugen unzählige Adressvarianten. Diese gehören nicht in die Sitemap. Wie Sie damit umgehen, ohne Rankings zu verschenken, beschreiben wir in unseren Leistungen für Onlineshops.

Sitemap in der Google Search Console einreichen

Die Sitemap allein reicht nicht. Reichen Sie sie einmalig in der Google Search Console ein, unter dem Menüpunkt Sitemaps. Danach sehen Sie dort zwei Zahlen: die Anzahl der eingereichten Adressen und die Anzahl der tatsächlich indexierten Seiten.

Die Lücke zwischen beiden Zahlen ist Ihre wichtigste Kennzahl. Reichen Sie 120 Seiten ein und Google indexiert 40, liegt dort Ihr eigentliches Problem. Der Bericht Seitenindexierung nennt für jede ausgeschlossene Seite den Grund. Welche Ursachen dahinterstecken und wie Sie sie beheben, haben wir ausführlich in unserem Beitrag Google indexiert meine Seite nicht beschrieben.

Was Sie regelmäßig kontrollieren sollten

Sitemap und robots.txt sind keine Aufgabe, die man einmal erledigt und dann vergisst. Prüfen Sie beides in diesen Situationen:

Nach jedem Relaunch und nach jedem Update Ihres Shopsystems oder CMS.
Wenn Sie neue Leistungs oder Standortseiten anlegen. Tauchen sie innerhalb weniger Tage in der Sitemap auf?
Wenn Sichtbarkeit oder Anfragen ohne erkennbaren Grund einbrechen.
Einmal im Quartal als kurze Routinekontrolle, zusammen mit dem Blick in die Search Console.

Fünf Minuten pro Quartal genügen für diese Prüfung. Der Schaden, den eine falsch gesetzte Zeile anrichtet, kostet dagegen Monate an Sichtbarkeit.

Fazit für lokale Betriebe und Shop-Betreiber

Die XML-Sitemap sorgt dafür, dass Google Ihre wichtigen Seiten schnell findet. Die robots.txt hält Suchmaschinen von Bereichen fern, die niemand suchen soll. Beide Dateien sind schnell geprüft, und beide können bei einem Fehler die gesamte Sichtbarkeit blockieren. Wenn Sie regional gefunden werden wollen, ist diese Grundlage genauso wichtig wie gute Texte. Mehr dazu finden Sie auf unserer Seite für lokale Unternehmen.

Sie sind unsicher, ob Ihre Sitemap und Ihre robots.txt sauber eingestellt sind? Wir schauen uns Ihre Website an und sagen Ihnen konkret, welche Seiten Google sieht und welche nicht. Schreiben Sie uns kurz, wir melden uns zeitnah bei Ihnen.