# Was Google von der Seite überhaupt sieht

Weil Crawlbarkeit und Indexierbarkeit zwei getrennte Schalter sind. Der häufigste Eingriff dazu, eine Sperre in der robots.txt zusammen mit einem noindex, hebt sich selbst auf, denn was nicht gecrawlt wird, kann das noindex nicht zeigen.

https://makler.rang-eins.com/wissen/fundament/was-google-von-der-seite-sieht

## Warum findet Google Seiten nicht, die es gibt?

Weil zwei verschiedene Schalter regelmäßig für einen gehalten werden. Der eine entscheidet, ob eine Seite abgerufen werden darf. Der andere entscheidet, ob sie in der Suche erscheinen darf. Wer den falschen umlegt, erreicht das Gegenteil von dem, was er wollte.

## Crawlen und erscheinen sind zwei Dinge

Die robots.txt steuert das Crawlen. Sie sagt, welche Adressen abgerufen werden dürfen. Über das Erscheinen in der Suche sagt sie nichts.

Google beschreibt ausdrücklich, dass eine per robots.txt gesperrte Seite trotzdem in den Suchergebnissen auftauchen kann, sobald andere Seiten darauf verlinken. Sie erscheint dann als nackte Adresse ohne die übliche Beschreibung darunter, weil der Inhalt ja nie gelesen wurde.

Wer eine Seite wirklich aus der Suche halten will, hat nach Googles Aufzählung drei Möglichkeiten, nämlich ein noindex, einen Passwortschutz oder die Entfernung der Seite. Eine robots.txt-Sperre steht nicht darunter.

## Der Eingriff, der sich selbst aufhebt

Genau hier entsteht der häufigste Fehler. Jemand setzt ein noindex auf eine Seite und sperrt sie zusätzlich in der robots.txt, in der Annahme, doppelt halte besser.

Das Gegenteil passiert. Weil die Adresse gesperrt ist, ruft Google sie nicht ab. Weil sie nicht abgerufen wird, sieht Google das noindex nie. Und weil das noindex nie gesehen wird, kann die Seite indexiert bleiben.

Die richtige Reihenfolge ist deshalb umgekehrt. Zuerst noindex setzen, die Seite crawlbar lassen, die Entfernung bestätigen lassen, und erst danach, falls überhaupt nötig, das Crawling sperren.

Ein verwandter Irrtum steht in älteren Anleitungen. Eine noindex-Zeile innerhalb der robots.txt unterstützt Google nicht. Gültig sind nur das Meta-Tag im Kopf der Seite und der entsprechende HTTP-Header.

Der Rest dieser Lektion steht hinter einem Code. Den Zugang gibt es unter https://makler.rang-eins.com/wissen/fundament/was-google-von-der-seite-sieht