Welcher Bot eines KI-Anbieters wofür unterwegs ist und warum eine pauschale Sperre zu viel abschaltet.

Wer ruft meine Seite ab, wenn jemand ein KI-System fragt?

Nicht ein Programm, sondern eines von mehreren. Allein OpenAI betreibt vier Bots mit vier verschiedenen Aufgaben, und jeder einzelne lässt sich zulassen oder sperren. Wer den Unterschied nicht kennt, trifft mit einer Zeile eine Entscheidung, die er so nicht treffen wollte.

Vier Programme bei einem Anbieter, und jedes gilt für sich

OpenAI führt sie in der eigenen Bot-Dokumentation auf. GPTBot sammelt Inhalte, die in das Training künftiger Modelle einfließen können. OAI-SearchBot entscheidet darüber, ob eine Seite in den Suchantworten von ChatGPT auftaucht. ChatGPT-User ruft eine Seite ab, weil gerade ein Mensch eine Frage gestellt hat. OAI-AdsBot besucht ausschließlich Seiten, die als Anzeige eingereicht wurden, und sammelt nach OpenAIs Angabe nichts für das Training.

Der wichtigste Satz dort steht über der Aufzählung, und die Lektion zu den Quellen einer Antwort hat ihn schon angerissen. Jede Einstellung gilt unabhängig von den anderen. Ein Betreiber kann also OAI-SearchBot erlauben, um in den Suchergebnissen zu erscheinen, und GPTBot zugleich sperren, um das Training auszuschließen. Genau hier wird es teuer, vom ChatGPT-Bot im Singular zu sprechen. Wer alles sperrt, weil er das Training verhindern will, verliert die Nennung in den Antworten mit. Was die einzelne Sperre kostet, steht weiter unten in der Tabelle, je Bot und je Anbieter.

Auf dieselbe Frage geben drei Anbieter drei Antworten

Anthropic teilt genauso auf, in ClaudeBot für das Training, Claude-SearchBot für den Suchindex und Claude-User für den Abruf auf Zuruf. Perplexity kommt mit zwei Bots aus, PerplexityBot für den Suchindex und Perplexity-User für den Abruf auf Zuruf.

Bei genau diesem dritten Typ gehen die Anbieter auseinander, also bei dem Bot, der eine Seite holt, weil in diesem Moment jemand gefragt hat. OpenAI schreibt, für ChatGPT-User gälten die Regeln der robots.txt möglicherweise nicht, weil ein Mensch die Handlung ausgelöst hat. Perplexity schreibt zu Perplexity-User, dieser übergehe die robots.txt meistens, und nennt denselben Grund. Anthropic erklärt für alle drei eigenen Bots ausdrücklich, sie hielten die üblichen Anweisungen in der robots.txt ein.

Eine pauschale Aussage über die KI-Bots trifft deshalb nicht zu, ganz gleich, wie sie ausfällt. Wer wissen will, was seine Einstellung bewirkt, liest die Seite des jeweiligen Anbieters, und zwar für jeden einzeln.