Temperatur-Simulator
Was macht die Temperatur bei KI-Modellen? Mit Reglern für Temperatur, Top-p und Top-k sehen, wie sich die Wahrscheinlichkeit jedes nächsten Worts verändert.
Was im Modell passiert
Ein Sprachmodell bewertet für jedes mögliche nächste Wort, wie gut es passt. Daraus werden Wahrscheinlichkeiten. Die Temperatur verschärft oder glättet diese Verteilung: Bei niedriger Temperatur gewinnt fast immer das wahrscheinlichste Wort, bei hoher Temperatur kommen auch seltene Wörter zum Zug.
Top-k begrenzt die Auswahl auf die k besten Wörter, Top-p auf die besten Wörter, die zusammen den Anteil p ausmachen. Die Zahlen hier sind ein anschauliches Beispiel, keine Messwerte eines bestimmten Modells. Bei manchen aktuellen Modellen lassen sich diese Werte nicht mehr einstellen, das Prinzip bleibt aber dasselbe.
Häufige Fragen
Was bewirkt die Temperatur bei ChatGPT?
Die Temperatur (englisch Temperature, oft auch LLM Temperatur genannt) steuert, wie zufällig ein Modell das nächste Wort wählt. Niedrige Werte liefern gleichbleibende, sachliche Antworten, hohe Werte abwechslungsreichere, aber auch fehleranfälligere.
Welche Temperatur ist die richtige?
Für Fakten, Datenauslese und Code eignen sich 0 bis 0,3, für normale Texte 0,5 bis 0,8, für Ideen und kreatives Schreiben 0,9 bis 1,2. Werte darüber erzeugen schnell Unsinn.
Was ist der Unterschied zwischen Top-p und Top-k?
Top-k lässt nur die k wahrscheinlichsten Wörter zu. Top-p lässt so viele der wahrscheinlichsten Wörter zu, bis deren Wahrscheinlichkeit zusammen den Wert p erreicht. Meist reicht es, entweder die Temperatur oder Top-p anzupassen.
Ist bei Temperatur 0 die Antwort immer gleich?
Weitgehend. Technische Details wie Rechenreihenfolge auf den Servern können trotzdem kleine Abweichungen erzeugen.
Zum Weiterlesen
- Temperatur und Top-p erklärt: So steuern Sie KI-AntwortenTemperatur und Top-p erklärt: was die Einstellungen bei Sprachmodellen bewirken, welche Werte für Fakten, Texte und Ideen passen und was bei neuen Modellen gilt.
- Wie funktioniert ChatGPT? Ein Blick unter die HaubeWie funktioniert ChatGPT? Von Tokens über das Training bis zur Antwort: verständlich erklärt, was zwischen Frage und Antwort passiert und warum Fehler entstehen.
- Was sind Tokens? Einfach erklärtTokens sind die Rechen- und Abrechnungseinheit von Sprachmodellen. Was ein Token ist, wie viele ein deutscher Text hat und warum das Geld kostet.
Das könnte auch helfen
Antwortzeit-Rechnerneu
Wie lange dauert eine KI-Antwort? Wartezeit aus Antwortlänge, Geschwindigkeit und Nachdenken.
Öffnenmax_tokens-Rechnerneu
Welches max_tokens für 500 Wörter? Ausgabelimit passend zur gewünschten Antwortlänge setzen.
ÖffnenModell-Finder
Welches KI-Modell passt? Aufgabe, Kontext und Budget angeben, passende Modelle nach Preis erhalten.
ÖffnenToken-Zähler
Tokens eines Textes oder einer Datei (PDF, Word, TXT) zählen, mit Kosten für alle Modelle.
ÖffnenKontextfenster-Rechner
Passt mein Dokument ins Kontextfenster? Seiten oder Wörter eingeben, für alle Modelle prüfen.
ÖffnenFormat-Vergleich
JSON, CSV, YAML oder Markdown: welches Datenformat die wenigsten Tokens kostet.
Öffnen