Temperatur und Top-p erklärt: So steuern Sie KI-Antworten
Temperatur und Top-p sind die zwei bekanntesten Einstellungen, mit denen man steuert, wie vorhersehbar oder abwechslungsreich ein Sprachmodell antwortet. Wer sie versteht, bekommt für Faktenaufgaben verlässlichere und für kreative Aufgaben vielfältigere Ergebnisse.
Die Temperatur steuert, wie stark ein Sprachmodell vom wahrscheinlichsten nächsten Wort abweicht: Bei 0 antwortet es gleichförmig und wiederholbar, um 1 abwechslungsreicher, ab etwa 1,5 entsteht schnell Unsinn. Top-p schneidet unwahrscheinliche Wörter ab. Für Fakten und Code eignen sich niedrige, für Ideen höhere Werte.
Wie ein Modell das nächste Wort wählt
Ein Sprachmodell schreibt Token für Token. Für jedes mögliche nächste Token berechnet es eine Wahrscheinlichkeit. Nach „Der Himmel ist heute“ sind „blau“ und „bewölkt“ sehr wahrscheinlich, „grün“ sehr unwahrscheinlich. Dann wird gewürfelt, gewichtet nach diesen Wahrscheinlichkeiten. Temperatur und Top-p verändern, wie gewürfelt wird. Im Temperatur-Simulator können Sie das selbst ausprobieren.
Temperatur
Die Temperatur verschärft oder glättet die Wahrscheinlichkeiten. Bei 0 gewinnt praktisch immer das wahrscheinlichste Token, die Antwort wird gleichförmig und wiederholbar. Um 1 bleibt die Verteilung, wie das Modell sie berechnet hat. Darüber bekommen unwahrscheinliche Wörter mehr Chancen; ab etwa 1,5 entsteht schnell Unsinn.
Top-p und Top-k
Top-p (auch „Nucleus Sampling“) schneidet die unwahrscheinlichen Wörter ab: Es bleiben nur so viele der besten Kandidaten im Topf, bis ihre Wahrscheinlichkeit zusammen p ergibt, etwa 90 Prozent. Top-k begrenzt einfach auf die k besten. Beide verhindern, dass seltene Ausreißer gezogen werden, ohne die Auswahl ganz einzuengen.
Welche Werte für welche Aufgabe?
- Fakten, Datenauslese, Klassifizieren, Code: Temperatur 0 bis 0,3
- Normale Texte, E-Mails, Zusammenfassungen: 0,5 bis 0,8
- Ideen, Werbetexte, Geschichten: 0,9 bis 1,2
Ändern Sie möglichst nur einen der beiden Werte, Temperatur oder Top-p. Beides gleichzeitig zu verstellen macht die Wirkung schwer vorhersehbar.
Was bei neuen Modellen gilt
Bei einigen aktuellen Modellen, besonders solchen, die vor der Antwort nachdenken, lassen sich Temperatur und Top-p nicht mehr frei einstellen; die Anbieter geben die Werte fest vor. In Chat-Oberflächen wie ChatGPT oder Claude.ai sind sie ohnehin nicht zugänglich. Dort steuern Sie das Ergebnis über den Prompt: „Antworte knapp und sachlich“ oder „Nenne zehn möglichst unterschiedliche Ideen“.
Temperatur und Halluzinationen
Eine niedrige Temperatur macht Antworten wiederholbarer, aber nicht automatisch richtig. Erfundene Fakten entstehen vor allem durch fehlendes Wissen, nicht durch Zufall. Was dagegen hilft, steht im Ratgeber Halluzinationen vermeiden.
Häufige Fragen
Welche Temperatur ist die beste für Code und Fakten?
Für Faktenaufgaben, Datenauslese, Klassifizieren und Code empfiehlt sich eine Temperatur von 0 bis 0,3. Dann wählt das Modell fast immer das wahrscheinlichste Token, und die Antworten bleiben wiederholbar.
Sollte man Temperatur und Top-p gleichzeitig ändern?
Besser nicht. Wer beide LLM Einstellungen gleichzeitig verstellt, kann die Wirkung kaum noch vorhersagen. Ändern Sie möglichst nur einen der beiden Werte.
Kann man die Temperature in ChatGPT einstellen?
In Chat-Oberflächen wie ChatGPT oder Claude.ai ist die Temperatur nicht zugänglich, und bei manchen neuen Modellen geben die Anbieter sie fest vor. Steuern lässt sich das Ergebnis dann über den Prompt, etwa mit „Antworte knapp und sachlich“.