Wie sich prüfen lässt, wer in KI-Antworten genannt wird und warum eine einzelne Abfrage dafür nicht genügt.

Ja, auf drei Wegen, die verschiedene Dinge zeigen. Sie fragen selbst und schreiben mit, Sie lesen, was die Anbieter über Ihre eigenen Seiten berichten, oder Sie bezahlen ein Werkzeug dafür. Eine einzelne Abfrage gehört zu keinem dieser Wege, denn sie zeigt einen Moment und keinen Zustand.

Kann ich nachsehen, ob ich in ChatGPT vorkomme?

In einer KI-Antwort gibt es keinen ersten Platz

Die klassische Suche liefert eine Reihenfolge, und die Frage lautet, auf welchem Rang jemand erscheint. In einer generativen Antwort gibt es diese Reihenfolge nicht. Gemessen werden kann nur, ob eine Quelle überhaupt als Zitat auftaucht und wie oft.

Eine statistische Arbeit von Ronald Sielinski fasst das in drei Kennzahlen. Die Zitatzahl zählt, wie oft eine Domain insgesamt zitiert wird. Der Zitationsanteil setzt diese Zahl ins Verhältnis zu allen Zitaten einer Stichprobe. Und die Zitationsprävalenz misst, in welchem Anteil aller Antworten eine Domain mindestens einmal vorkommt, unabhängig davon, wie oft.

Die dritte Kennzahl sagt etwas Eigenes. Innerhalb eines Systems laufen Zitatzahl und Anteil fast im Gleichschritt, ihre Rangkorrelation liegt zwischen 0,958 und 0,997. Die Prävalenz löst sich davon, dort erreicht derselbe Wert nur 0,756 bis 0,833. Eine Domain kann also über wenige, sehr zitatreiche Antworten einen hohen Anteil erreichen oder über viele Antworten mit je nur einem Zitat eine hohe Prävalenz. Das sind zwei verschiedene Erfolge, und sie verlangen zwei verschiedene Maßnahmen.

Zwei Systeme lassen sich nicht an der rohen Zahl vergleichen

Dieselbe Arbeit hat gezählt, wie viele Quellen die Systeme je Antwort überhaupt einblenden. Der Abstand beträgt rund das Sechsfache.

System	Zitate je Antwort, Median	Folge für die Messung
Gemini	36 bis 40	viele Quellen, eine einzelne Nennung wiegt wenig
Perplexity	19 bis 22	mittlere Dichte
ChatGPT-Suche	5 bis 7	wenige Plätze, eine Nennung wiegt schwer

Wer seine Zitatzahl bei Gemini gegen die bei der ChatGPT-Suche hält, vergleicht deshalb nichts. Für einen Vergleich über Systeme hinweg taugt allein der Anteil, und auch der nur, wenn dieselbe Frageliste dahintersteht.

Google und Microsoft berichten selbst, aber nur über die eigene Fläche

Welche drei Kennzahlen es überhaupt gibt, was die kostenlosen Berichte von Google und Microsoft zeigen und was sie auslassen, wie die bezahlten Werkzeuge messen und wie eine eigene Nullmessung aufgebaut ist

Zugang kostenlos freischalten

Sie erhalten einen Code per Mail. Damit öffnen Sie jede Lektion der vier Stufen, so oft Sie wollen und ohne Ablaufdatum.