Was eine Messung in KI-Systemen nicht hergibt und ab wann ein Unterschied wirklich einer ist.

Wie verlässlich sind die Zahlen zur KI-Sichtbarkeit?

So verlässlich wie die Stichprobe dahinter. Zwei identische Abfragen an dasselbe System liefern in aller Regel verschiedene Quellenlisten, und das ist kein Defekt, sondern so gebaut. Eine Zahl ohne System, Stichprobengröße und Zeitraum sagt deshalb nichts darüber, ob sich etwas verändert hat.

Zwei gleiche Fragen ergeben zwei verschiedene Antworten

Eine Arbeit von Ronald Sielinski hat diese Schwankung über mehrere Tage hinweg vermessen. Dieselben Fragen gingen über neun Tage an drei Systeme, je 200 Abfragen, dazu eine Reihe im Zehnminutentakt über rund vier Stunden. Gezählt wurde, wie viele der zitierten Quellen zwei Wiederholungen derselben Frage gemeinsam hatten.

System	gemeinsame Quellen zweier Wiederholungen, Median	Anteil vollständig gleicher Quellenlisten
Gemini	29 bis 31 Prozent	0,01 bis 0,10 Prozent
ChatGPT-Suche	33 bis 40 Prozent	3 bis 8 Prozent
Perplexity	rund 50 Prozent	3 bis 8 Prozent

Die mittlere Spalte ist der Kern. Stellt man dieselbe Frage zweimal, überschneiden sich die genannten Quellen bei Gemini im Median zu nicht einmal einem Drittel, und dass beide Antworten dieselbe Liste tragen, kommt dort so gut wie nie vor. Perplexity ist das stabilste der drei Systeme, und selbst dort teilt sich nur die Hälfte der Quellen.

Die ChatGPT-Suche verhält sich dabei zweigeteilt. Sie liefert entweder eine fast identische Liste oder eine fast völlig andere. Einen Mittelweg gibt es selten. Bei neun beobachteten Kombinationen aus Domain und Frage blieb die Zitierung über alle Tagesstichproben hinweg identisch, während sie für andere stark schwankte. Ein fester und ein zufälliger Bereich bestehen bei diesem System offenbar nebeneinander, und von außen sieht man einer Nennung nicht an, in welchem der beiden sie liegt.

Die Schwankung kommt aus den Systemen und nicht aus den Seiten

Der naheliegende Einwand lautet, die zitierten Seiten hätten sich geändert. Genau das hat die Arbeit ausgeschlossen. Der lesbare Inhalt jeder zitierten Adresse wurde bei jedem Durchgang gespeichert und über eine Prüfsumme verglichen. Die überwiegende Mehrheit der Seiten blieb über die neun Tage unverändert, während die Zitierung weiterschwankte. Der Verfasser hält dazu fest, die Schwankung sei strukturell und nicht inhaltlich verursacht.