Studie „Characterizing Web Search in the Age of Generative AI“ (Bochum, 2025)

Die Arbeit fragt, worin sich KI-Suche von der gewohnten Suche unterscheidet, und betrachtet drei Dinge:

• Eigenes Wissen oder Websuche: Wie oft sucht ein Dienst überhaupt im Web, und wie viele Quellen nennt er?
• Breite der Quellen: Sind es dieselben Seiten, die Google oben zeigt, oder andere?
• Beständigkeit: Bleibt die Antwort gleich, wenn man dieselbe Frage später noch einmal stellt?

Die beiden Varianten von GPT-4o unterscheiden sich in einem Punkt, der für das Verständnis wichtig ist: Die eine sucht bei jeder Frage im Web, die andere entscheidet selbst, ob sie sucht. Perplexity Sonar sucht immer.

Zum Vergleich holten die Forscher zu jeder Frage die ersten 100 Treffer der Google-Suche. Welche Themen eine Antwort abdeckt, ließ die Arbeit ein Sprachmodell bestimmen.

Wie viele Quellen ein Dienst nennt, hängt stark vom Dienst ab

Werte aus Abschnitt 4.1 der Arbeit (Median, über alle Sammlungen gemittelt). Für Gemini und Perplexity nennt der Text dort keine Zahl.

Googles KI-Übersicht passt die Zahl der Quellen an die Frage an: bei kurzen Faktenfragen zwei oder weniger, bei offenen Fragen über 30. Die GPT-Variante, die selbst entscheidet, kommt bei vielen Fragen ganz ohne Websuche aus. Bei 249 Fragen nach Hauptstädten suchte sie kein einziges Mal und antwortete trotzdem immer richtig. Bei Tagesthemen dagegen deckte sie am wenigsten ab (51 Prozent der Themen gegenüber 72 Prozent bei der Variante, die immer sucht).

Die Quellen kommen oft von weit hinten

• Googles KI-Übersicht und die ersten zehn Treffer überschneiden sich zu weniger als der Hälfte. Selbst wenn man die ersten 100 Treffer nimmt, stehen mehr als 40 Prozent der Links der KI-Übersicht nicht darunter.
• Bei den anderen Diensten ist es noch weniger. Bei Gemini und der immer suchenden GPT-Variante ist die Überschneidung deutlich geringer, bei der selbst entscheidenden nahe null.
• Weniger bekannte Websites. Die meisten KI-Dienste zitieren Websites, die nach Besucherzahlen weiter hinten liegen als die Treffer der Google-Suche.
• Andere Arten von Websites. Die GPT-Varianten stützen sich stark auf Unternehmensseiten und Nachschlagewerke und wenig auf soziale Medien und Foren. In der Google-Suche kommen solche Seiten je nach Thema auf bis zu 35 Prozent.

Trotz der anderen Quellen decken die Antworten ähnlich viele Themen ab wie die ersten zehn Google-Treffer (71 bis 78 Prozent, Google 78 Prozent).

Nach zwei Monaten sind die meisten Links andere

Die Forscher stellten alle Fragen im Abstand von rund zwei Monaten zweimal. Bei der Google-Suche stimmten 45 Prozent der Links überein, bei Googles KI-Übersicht 18 Prozent. Am beständigsten waren die Google-Suche und Gemini. Die abgedeckten Themen blieben dagegen fast gleich: Die Dienste sagen Ähnliches, stützen sich aber auf andere Seiten.

Ja-Nein-Antworten kippen in 9 bis 27 Prozent der Fälle

Für Fragen, die nur „ja“, „nein“ oder „teils“ zulassen, prüfte die Arbeit, ob dieselbe Frage nach fünf Minuten und nach 24 Stunden dieselbe Antwort bekommt. Die Dienste liefen dabei in der Einstellung, in der sie am wenigsten würfeln.

Werte aus Tabelle 4 der Arbeit, Einstellung „Temperatur 0“. Bei der immer suchenden GPT-Variante und der KI-Übersicht lässt sich diese Einstellung nicht wählen. Ob eine Antwort „ja“ oder „nein“ bedeutet, entschied ein Sprachmodell.

Ein Beispiel aus der Arbeit: Auf die Frage, ob die spanische Provinz Soria an Navarra grenzt, antwortete Googles KI-Übersicht einmal mit Nein und zweimal mit Ja. Auch der Wortlaut wechselt: Zwei Antworten auf dieselbe Frage teilen oft weniger als die Hälfte ihrer Wörter.

Deutschland: dasselbe Bild, seltener eine KI-Übersicht

Alle Abrufe wurden zusätzlich von Deutschland aus gemacht, mit denselben englischen Fragen. Die Ergebnisse gleichen denen aus den USA. Der einzige sichtbare Unterschied: Googles KI-Übersicht erschien von Deutschland aus seltener.

• Eine Antwort je Frage. Außer im Ja-Nein-Versuch wurde jede Frage je Dienst und Zeitpunkt nur einmal gestellt. Die Arbeit zeigt selbst, wie stark Antworten wechseln; wie viel vom Unterschied nach zwei Monaten bloßer Zufall ist, lässt sich so nicht trennen.

• Nur englische Fragen. Auch von Deutschland aus wurde auf Englisch gefragt. Über deutsche Fragen sagt die Arbeit nichts.

• Keine Fragen nach örtlichen Betrieben. Die Sammlungen enthalten Wissensfragen, Politik, Wissenschaft, Produkte und Tagesthemen.

• Über Schnittstellen abgerufen. Die Dienste wurden über Programmierschnittstellen befragt, ohne Anmeldung. Was ein angemeldeter Nutzer in der App sieht, kann abweichen.

• Ältere Modelle. GPT-4o und Gemini 2.5 Flash sind inzwischen abgelöst.

• Bewertung durch Sprachmodelle. Welche Themen eine Antwort abdeckt, zu welcher Art eine Website gehört und ob eine Antwort „ja“ bedeutet, entschied jeweils ein Sprachmodell.

• Ungenaue Angaben im Text. Mehrere Kernwerte nennt die Arbeit nur als Schwelle („weniger als 50 Prozent“); die genauen Werte stehen in Abbildungen.

• Nur beobachtet. Die Arbeit beschreibt, wie die Dienste sich verhalten. Was ein Seitenbetreiber tun kann, um genannt zu werden, hat sie nicht untersucht.

Unsere Breitenmessung vom 29.09.2026 hat 4.000 Antworten von ChatGPT, Gemini und Perplexity auf deutsche Fragen nach Betrieben an einem Ort. Die Google-Treffer zu diesen Fragen haben wir nicht erhoben. Den Hauptbefund der Arbeit, dass die Quellen von weit hinter den ersten Treffern kommen, können wir deshalb weder bestätigen noch widerlegen. Drei andere Befunde lassen sich neben unsere Zahlen stellen.

Antworten ohne Quelle: passt zusammen

gemessen In der Studie sucht Perplexity immer, die selbst entscheidende GPT-Variante oft gar nicht. Bei uns hatte keine der 1.500 Antworten von Perplexity keine Quelle; bei ChatGPT fehlte sie in 11 Prozent der 1.000 Antworten, bei Gemini in 7 Prozent der 1.500. Wir stellen ChatGPT die Websuche ebenfalls nur als Werkzeug bereit; ob gesucht wird, entscheidet der Dienst. Einschätzung Dass ChatGPT bei uns viel öfter sucht als in der Studie, liegt nahe: Wer nach einem Elektriker in Bonn fragt, stellt eine Frage, die sich ohne Websuche kaum beantworten lässt.

Quellen je Antwort: ähnliche Größenordnung bei ChatGPT

gemessen Die immer suchende GPT-Variante nennt in der Studie im mittleren Fall 4 Links. Bei uns zitierte ChatGPT im mittleren Fall 5 Websites je Antwort, Gemini 8, Perplexity 3. Einschätzung Die Größenordnung stimmt bei ChatGPT überein. Für Gemini und Perplexity nennt die Arbeit an dieser Stelle keinen vergleichbaren Wert.

Wechsel der Quellen: stützt unseren Befund

gemessen Bei uns stimmen zwei Antworten desselben Dienstes auf dieselbe Frage am selben Tag bei ChatGPT in 29 Prozent der zitierten Websites überein, bei Gemini in 45 und bei Perplexity in 78 Prozent. Die Studie misst etwas anderes, nämlich den Abstand von zwei Monaten, und findet bei Googles KI-Übersicht 18 Prozent gemeinsame Links. Wie bei uns ist Gemini beständiger als die GPT-Varianten. Einschätzung Beide Messungen zeigen in dieselbe Richtung, sind aber nicht gleichzusetzen. Unsere Werte und die der Studie aus St. Gallen legen nahe, dass ein großer Teil des Wechsels schon am selben Tag entsteht. Weil die Bochumer Arbeit je Zeitpunkt nur einmal fragt, kann sie das nicht vom Wandel über zwei Monate trennen.

Soziale Medien und Foren: auch bei uns selten

gemessen In unseren 4.000 Antworten verwiesen 3,6 Prozent auf reddit.com und 0,3 Prozent auf youtube.com. Häufig waren stattdessen Verzeichnisse und Bewertungsportale (siehe KI-Sichtbarkeit und Portale). Das passt zum Befund der Studie, dass KI-Dienste wenig aus sozialen Medien und Foren zitieren; welche Websites stattdessen führen, hängt aber von der Art der Frage ab.

Was wir nicht prüfen können

Ob die zitierten Seiten bei lokalen Fragen auf Deutsch unter den ersten Google-Treffern stehen, haben wir nicht gemessen. Dafür müsste man zu jeder Frage die Google-Treffer mit erheben. Ja-Nein-Fragen haben wir nicht gestellt.

Einschätzung

• Ein guter Platz bei Google und die Nennung in einer KI-Antwort sind zwei verschiedene Dinge. Ein großer Teil der Quellen von Googles KI-Übersicht steht nicht unter den ersten zehn Treffern, viele nicht einmal unter den ersten hundert. Wie eine Seite dorthin kommt, sagt die Arbeit nicht.
• Eine einzelne KI-Antwort ist kein fester Befund. Auch bei klaren Ja-Nein-Fragen kann dieselbe Frage Minuten später die gegenteilige Antwort bekommen. Wer eine falsche Auskunft über den eigenen Betrieb findet, sollte mehrmals nachfragen, bevor er daraus etwas schließt.
• Die Dienste verhalten sich verschieden. Was für Googles KI-Übersicht gilt, gilt nicht ohne Weiteres für ChatGPT oder Perplexity.
• Die Studie fragt auf Englisch und nicht nach Betrieben vor Ort. Für einen Handwerksbetrieb in Deutschland sind ihre Prozentwerte ein Hinweis auf die Richtung, kein Maß.

Zu dieser Seite: Die Auswertung der Studie ist mit Hilfe eines KI-Assistenten entstanden, der die Arbeit vollständig gelesen hat. Die Angaben wurden von Robert Fischer gegen die Arbeit geprüft. Weitere Studien: Übersicht.