Temperatur-Simulator

Was macht die Temperatur bei KI-Modellen? Mit Reglern für Temperatur, Top-p und Top-k sehen, wie sich die Wahrscheinlichkeit jedes nächsten Worts verändert.

    Wahrscheinlichkeit des nächsten Worts

    Was im Modell passiert

    Ein Sprachmodell bewertet für jedes mögliche nächste Wort, wie gut es passt. Daraus werden Wahrscheinlichkeiten. Die Temperatur verschärft oder glättet diese Verteilung: Bei niedriger Temperatur gewinnt fast immer das wahrscheinlichste Wort, bei hoher Temperatur kommen auch seltene Wörter zum Zug.

    Top-k begrenzt die Auswahl auf die k besten Wörter, Top-p auf die besten Wörter, die zusammen den Anteil p ausmachen. Die Zahlen hier sind ein anschauliches Beispiel, keine Messwerte eines bestimmten Modells. Bei manchen aktuellen Modellen lassen sich diese Werte nicht mehr einstellen, das Prinzip bleibt aber dasselbe.

    Anleitung: Temperatur in 4 Schritten

    1. Einen Beispielsatz wählen, etwa „Der Himmel ist heute …“.
    2. Temperatur, Top-p und Top-k mit den Reglern einstellen oder eine Voreinstellung wie „Sachlich“ oder „Kreativ“ anklicken.
    3. Im Diagramm „Wahrscheinlichkeit des nächsten Worts“ ablesen, wie sich die Verteilung verschiebt.
    4. Mit „12-mal würfeln“ ausprobieren, welche Wörter bei dieser Einstellung tatsächlich gezogen werden.

    Typische Anwendungsfälle

    • API-Parameter festlegen: Vor dem Einstellen eines Chatbots sehen, wie stark eine höhere Temperatur die Wortwahl streut.
    • Schulung und Workshop: Anschaulich zeigen, warum dieselbe Frage an ein Sprachmodell unterschiedliche Antworten liefert.
    • Top-p und Top-k vergleichen: Beide Grenzen einzeln verändern und beobachten, welche Wörter aus der Auswahl fallen.
    • Ausreißer verstehen: Nachvollziehen, warum ein Modell bei hoher Temperatur abschweift oder unpassende Wörter wählt.
    Fragen

    Häufige Fragen

    Was bewirkt die Temperatur bei ChatGPT?

    Die Temperatur (englisch Temperature, oft auch LLM Temperatur genannt) steuert, wie zufällig ein Modell das nächste Wort wählt. Niedrige Werte liefern gleichbleibende, sachliche Antworten, hohe Werte abwechslungsreichere, aber auch fehleranfälligere.

    Welche Temperatur ist die richtige?

    Für Fakten, Datenauslese und Code eignen sich 0 bis 0,3, für normale Texte 0,5 bis 0,8, für Ideen und kreatives Schreiben 0,9 bis 1,2. Werte darüber erzeugen schnell Unsinn.

    Was ist der Unterschied zwischen Top-p und Top-k?

    Top-k lässt nur die k wahrscheinlichsten Wörter zu. Top-p lässt so viele der wahrscheinlichsten Wörter zu, bis deren Wahrscheinlichkeit zusammen den Wert p erreicht. Meist reicht es, entweder die Temperatur oder Top-p anzupassen.

    Ist bei Temperatur 0 die Antwort immer gleich?

    Weitgehend. Technische Details wie Rechenreihenfolge auf den Servern können trotzdem kleine Abweichungen erzeugen.

    Wie stelle ich die Temperatur in der OpenAI- oder Claude-API ein?

    Über den Parameter temperature in der Anfrage, bei OpenAI im Bereich 0 bis 2, bei Anthropic von 0 bis 1. Top-p heißt top_p; Top-k gibt es bei Anthropic als top_k. Einige neuere Reasoning-Modelle nehmen diese Parameter nicht mehr an.

    Warum gibt eine KI bei hoher Temperatur Unsinn aus?

    Eine hohe Temperatur flacht die Verteilung ab, sodass auch sehr unwahrscheinliche Wörter gezogen werden. Jedes unpassende Wort wird Teil des Kontexts, und die Antwort entfernt sich Schritt für Schritt vom Sinn. Die Voreinstellung „Chaotisch“ zeigt das deutlich.

    Ratgeber

    Zum Weiterlesen

    Alle Artikel
    1. Temperatur und Top-p erklärt: So steuern Sie KI-AntwortenTemperatur und Top-p erklärt: was die Einstellungen bei Sprachmodellen bewirken, welche Werte für Fakten, Texte und Ideen passen und was bei neuen Modellen gilt.
    2. Wie funktioniert ChatGPT? Ein Blick unter die HaubeWie funktioniert ChatGPT? Von Tokens über das Training bis zur Antwort: verständlich erklärt, was zwischen Frage und Antwort passiert und warum Fehler entstehen.
    3. Warum KI jedes Mal anders antwortet: Zufall, Temperatur und KontextWarum KI jedes Mal anders antwortet: Sampling, Temperatur, Verlauf und Modellupdates erklärt. Und wie Sie Antworten gleichmäßiger und verlässlicher machen.
    Weitere Werkzeuge

    Das könnte auch helfen

    Alle 561 Werkzeuge