Pew-Studie: KI kann echte Umfragen nicht ersetzen
Kann KI Menschen in Umfragen ersetzen? Das Pew Research Center hat es getestet und kommt zu einem klaren Ergebnis: nicht wirklich. Die simulierten Antworten wichen im Schnitt um 12 Prozentpunkte von den echten ab.
Für die Studie gaben die Forscher einem KI-Modell ausführliche Profile realer Teilnehmer ihres Umfragepanels und ließen es knapp 300 Fragen so beantworten, wie diese Menschen es tun würden. Danach verglichen sie die „digitalen Zwillinge“ mit den tatsächlichen Antworten.
Im Schnitt lagen die KI-Antworten 12 Prozentpunkte daneben, bei 28 Prozent der Fragen sogar mehr als 15 Punkte. Auffällig waren Klischees: Das Modell schätzte etwa, dass 97 Prozent der hispanischen Erwachsenen in den USA die Fußball-WM verfolgen; tatsächlich sind es 43 Prozent. Echte Menschen wählten außerdem rund viermal so oft „weiß nicht“ wie die KI. Verschiedene Modelle, darunter GPT-5.1 und Claude Opus 4.6, kamen zudem zu deutlich unterschiedlichen Ergebnissen.
Das Fazit von Pew: KI-Modelle sind kein ausreichender Ersatz für klassische Umfragen zu Themen von breitem öffentlichem Interesse.
Simulierte Zielgruppen sind verlockend für Marketing und Produktentwicklung, liefern aber eher Durchschnittsmeinungen und Stereotype. Für Ideen und erste Hypothesen taugen sie, für Entscheidungen braucht es echte Befragungen. Warum Sprachmodelle so plausibel danebenliegen können, erklärt Halluzinationen vermeiden.
Quellen
Eigene Zusammenfassung auf Grundlage der genannten Quellen, erstellt mit Unterstützung von KI, geprüft und redaktionell verantwortet von Leon Blatz. Illustration: Tokenlabor, per Programm gezeichnet, kein KI-Bild.
