Was Google von der Seite überhaupt sieht und warum manche Seiten unsichtbar bleiben.
Weil Crawlbarkeit und Indexierbarkeit zwei getrennte Schalter sind. Der häufigste Eingriff dazu, eine Sperre in der robots.txt zusammen mit einem noindex, hebt sich selbst auf, denn was nicht gecrawlt wird, kann das noindex nicht zeigen.
Warum findet Google Seiten nicht, die es gibt?
Weil zwei verschiedene Schalter regelmäßig für einen gehalten werden. Der eine entscheidet, ob eine Seite abgerufen werden darf. Der andere entscheidet, ob sie in der Suche erscheinen darf. Wer den falschen umlegt, erreicht das Gegenteil von dem, was er wollte.
Crawlen und erscheinen sind zwei Dinge
Die robots.txt steuert das Crawlen. Sie sagt, welche Adressen abgerufen werden dürfen. Über das Erscheinen in der Suche sagt sie nichts.
Google beschreibt ausdrücklich, dass eine per robots.txt gesperrte Seite trotzdem in den Suchergebnissen auftauchen kann, sobald andere Seiten darauf verlinken. Sie erscheint dann als nackte Adresse ohne die übliche Beschreibung darunter, weil der Inhalt ja nie gelesen wurde.
Wer eine Seite wirklich aus der Suche halten will, hat nach Googles Aufzählung drei Möglichkeiten, nämlich ein noindex, einen Passwortschutz oder die Entfernung der Seite. Eine robots.txt-Sperre steht nicht darunter.
Der Eingriff, der sich selbst aufhebt
Genau hier entsteht der häufigste Fehler. Jemand setzt ein noindex auf eine Seite und sperrt sie zusätzlich in der robots.txt, in der Annahme, doppelt halte besser.
Das Gegenteil passiert. Weil die Adresse gesperrt ist, ruft Google sie nicht ab. Weil sie nicht abgerufen wird, sieht Google das noindex nie. Und weil das noindex nie gesehen wird, kann die Seite indexiert bleiben.
Die richtige Reihenfolge ist deshalb umgekehrt. Zuerst noindex setzen, die Seite crawlbar lassen, die Entfernung bestätigen lassen, und erst danach, falls überhaupt nötig, das Crawling sperren.
Ein verwandter Irrtum steht in älteren Anleitungen. Eine noindex-Zeile innerhalb der robots.txt unterstützt Google nicht. Gültig sind nur das Meta-Tag im Kopf der Seite und der entsprechende HTTP-Header.
Eine Datei, deren Ausfall in zwei Richtungen wirkt
Die eine Datei, deren Ausfall je nach Fehlerart genau gegenteilig wirkt, die Frist von 30 Tagen dahinter und was zwischen dem Abruf einer Seite und dem Sehen ihres Inhalts liegt
Zugang kostenlos freischalten
Sie erhalten einen Code per Mail. Damit öffnen Sie jede Lektion der vier Stufen, so oft Sie wollen und ohne Ablaufdatum.