Temperatur-Simulator
Was macht die Temperatur bei KI-Modellen? Mit Reglern für Temperatur, Top-p und Top-k sehen, wie sich die Wahrscheinlichkeit jedes nächsten Worts verändert.
Was im Modell passiert
Ein Sprachmodell bewertet für jedes mögliche nächste Wort, wie gut es passt. Daraus werden Wahrscheinlichkeiten. Die Temperatur verschärft oder glättet diese Verteilung: Bei niedriger Temperatur gewinnt fast immer das wahrscheinlichste Wort, bei hoher Temperatur kommen auch seltene Wörter zum Zug.
Top-k begrenzt die Auswahl auf die k besten Wörter, Top-p auf die besten Wörter, die zusammen den Anteil p ausmachen. Die Zahlen hier sind ein anschauliches Beispiel, keine Messwerte eines bestimmten Modells. Bei manchen aktuellen Modellen lassen sich diese Werte nicht mehr einstellen, das Prinzip bleibt aber dasselbe.
Anleitung: Temperatur in 4 Schritten
- Einen Beispielsatz wählen, etwa „Der Himmel ist heute …“.
- Temperatur, Top-p und Top-k mit den Reglern einstellen oder eine Voreinstellung wie „Sachlich“ oder „Kreativ“ anklicken.
- Im Diagramm „Wahrscheinlichkeit des nächsten Worts“ ablesen, wie sich die Verteilung verschiebt.
- Mit „12-mal würfeln“ ausprobieren, welche Wörter bei dieser Einstellung tatsächlich gezogen werden.
Typische Anwendungsfälle
- API-Parameter festlegen: Vor dem Einstellen eines Chatbots sehen, wie stark eine höhere Temperatur die Wortwahl streut.
- Schulung und Workshop: Anschaulich zeigen, warum dieselbe Frage an ein Sprachmodell unterschiedliche Antworten liefert.
- Top-p und Top-k vergleichen: Beide Grenzen einzeln verändern und beobachten, welche Wörter aus der Auswahl fallen.
- Ausreißer verstehen: Nachvollziehen, warum ein Modell bei hoher Temperatur abschweift oder unpassende Wörter wählt.
Häufige Fragen
Was bewirkt die Temperatur bei ChatGPT?
Die Temperatur (englisch Temperature, oft auch LLM Temperatur genannt) steuert, wie zufällig ein Modell das nächste Wort wählt. Niedrige Werte liefern gleichbleibende, sachliche Antworten, hohe Werte abwechslungsreichere, aber auch fehleranfälligere.
Welche Temperatur ist die richtige?
Für Fakten, Datenauslese und Code eignen sich 0 bis 0,3, für normale Texte 0,5 bis 0,8, für Ideen und kreatives Schreiben 0,9 bis 1,2. Werte darüber erzeugen schnell Unsinn.
Was ist der Unterschied zwischen Top-p und Top-k?
Top-k lässt nur die k wahrscheinlichsten Wörter zu. Top-p lässt so viele der wahrscheinlichsten Wörter zu, bis deren Wahrscheinlichkeit zusammen den Wert p erreicht. Meist reicht es, entweder die Temperatur oder Top-p anzupassen.
Ist bei Temperatur 0 die Antwort immer gleich?
Weitgehend. Technische Details wie Rechenreihenfolge auf den Servern können trotzdem kleine Abweichungen erzeugen.
Wie stelle ich die Temperatur in der OpenAI- oder Claude-API ein?
Über den Parameter temperature in der Anfrage, bei OpenAI im Bereich 0 bis 2, bei Anthropic von 0 bis 1. Top-p heißt top_p; Top-k gibt es bei Anthropic als top_k. Einige neuere Reasoning-Modelle nehmen diese Parameter nicht mehr an.
Warum gibt eine KI bei hoher Temperatur Unsinn aus?
Eine hohe Temperatur flacht die Verteilung ab, sodass auch sehr unwahrscheinliche Wörter gezogen werden. Jedes unpassende Wort wird Teil des Kontexts, und die Antwort entfernt sich Schritt für Schritt vom Sinn. Die Voreinstellung „Chaotisch“ zeigt das deutlich.
Zum Weiterlesen
- Temperatur und Top-p erklärt: So steuern Sie KI-AntwortenTemperatur und Top-p erklärt: was die Einstellungen bei Sprachmodellen bewirken, welche Werte für Fakten, Texte und Ideen passen und was bei neuen Modellen gilt.
- Wie funktioniert ChatGPT? Ein Blick unter die HaubeWie funktioniert ChatGPT? Von Tokens über das Training bis zur Antwort: verständlich erklärt, was zwischen Frage und Antwort passiert und warum Fehler entstehen.
- Warum KI jedes Mal anders antwortet: Zufall, Temperatur und KontextWarum KI jedes Mal anders antwortet: Sampling, Temperatur, Verlauf und Modellupdates erklärt. Und wie Sie Antworten gleichmäßiger und verlässlicher machen.
Das könnte auch helfen
Antwortzeit-Rechnerneu
Wie lange dauert eine KI-Antwort? Wartezeit aus Antwortlänge, Geschwindigkeit und Nachdenken.
Öffnenmax_tokens-Rechnerneu
Welches max_tokens für 500 Wörter? Ausgabelimit passend zur gewünschten Antwortlänge setzen.
ÖffnenModell-Finder
Welches KI-Modell passt? Aufgabe, Kontext und Budget angeben, passende Modelle nach Preis erhalten.
ÖffnenToken-Zähler
Tokens eines Textes oder einer Datei (PDF, Word, TXT) zählen, mit Kosten für alle Modelle.
ÖffnenKontextfenster-Rechner
Passt mein Dokument ins Kontextfenster? Seiten oder Wörter eingeben, für alle Modelle prüfen.
ÖffnenFormat-Vergleich
JSON, CSV, YAML oder Markdown: welches Datenformat die wenigsten Tokens kostet.
Öffnen