Wie funktioniert ChatGPT? Ein Blick unter die Haube

Wie funktioniert ChatGPT? Kurz gesagt: Ein großes Sprachmodell zerlegt Ihre Frage in Tokens, berechnet Schritt für Schritt das jeweils passendste nächste Token und setzt daraus die Antwort zusammen. Die eigentliche Leistung steckt im Training und in dem, was die App um das Modell herum baut.

1. Aus Text werden Zahlen

Ihr Text wird zuerst in Tokens zerlegt, im Deutschen etwa 1,45 Tokens pro Wort. Jedes Token wird in eine lange Zahlenreihe übersetzt, die seine Bedeutung im Zusammenhang abbildet. Wie die Zerlegung aussieht, zeigt der Token-Zähler farbig.

2. Der Transformer gewichtet den Zusammenhang

Das Herz von ChatGPT ist ein Transformer, eine Netzarchitektur von 2017. Ihr Kern ist die Aufmerksamkeit (Attention): Für jedes Token wird berechnet, welche anderen Tokens im Text dafür wichtig sind. So versteht das Modell, dass sich „sie“ in einem Satz auf „die Rechnung“ von drei Zeilen vorher bezieht.

3. Das nächste Token wird gewählt

Am Ende steht eine Wahrscheinlichkeit für jedes mögliche nächste Token. Ausgewählt wird nicht immer das wahrscheinlichste; die Temperatur bestimmt, wie viel Zufall erlaubt ist. Darum fällt dieselbe Frage zweimal unterschiedlich aus.

4. Training in Stufen

Im Vortraining lernt das Modell aus enormen Textmengen, Text fortzusetzen. Danach folgt das Feintraining mit Beispieldialogen und menschlichen Bewertungen: Antworten, die hilfreich, korrekt und harmlos sind, werden belohnt. Neuere Modelle lernen zusätzlich, vor der Antwort nachzudenken; mehr dazu im Artikel über Reasoning-Modelle.

5. Was die App dazu beiträgt

ChatGPT ist mehr als das Modell: Die App fügt eine versteckte Systemanweisung hinzu, schickt den bisherigen Gesprächsverlauf mit, kann im Web suchen, Dateien lesen, Code ausführen und Bilder erzeugen. Das „Gedächtnis“ ist technisch ebenfalls nur Text, der vor Ihre Frage gestellt wird.

Warum ChatGPT Fehler macht

Das Modell erzeugt die wahrscheinlichste Fortsetzung, nicht die geprüfte Wahrheit. Bei Themen mit wenig Trainingsmaterial, exakten Zahlen oder sehr aktuellen Ereignissen liegt es deshalb öfter daneben. Gegenmittel: Quellen mitgeben, um Belege bitten und wichtige Aussagen prüfen.