Was ist ein LLM? Große Sprachmodelle einfach erklärt

Ein LLM (Large Language Model, auf Deutsch großes Sprachmodell) ist ein KI-Modell, das gelernt hat, Text fortzusetzen. ChatGPT, Claude, Gemini und Copilot beruhen alle auf solchen Modellen. Was nach einem einfachen Trick klingt, reicht für Zusammenfassungen, Übersetzungen, Programmcode und lange Gespräche.

Text fortsetzen, Wort für Wort

Ein Sprachmodell bekommt einen Text und berechnet, welches Stück Text am wahrscheinlichsten folgt. Diese Stücke heißen Tokens: ganze Wörter, Wortteile oder Satzzeichen. Das gewählte Token wird angehängt, dann beginnt die Rechnung von vorn. Eine Antwort mit 500 Wörtern entsteht so in rund 700 einzelnen Schritten.

Gelernt hat das Modell diese Wahrscheinlichkeiten aus riesigen Textmengen: Websites, Bücher, Code, wissenschaftliche Artikel. Danach wird es mit Beispielen und menschlichen Bewertungen darauf trainiert, hilfreich zu antworten und Anweisungen zu befolgen. Erst dieser zweite Schritt macht aus einem Textvervollständiger einen Assistenten.

Warum „groß“?

Groß sind zwei Dinge: die Zahl der Parameter, also der gelernten Zahlenwerte im Modell (heute oft Hunderte Milliarden), und die Menge an Trainingstext (Billionen Tokens). Mit der Größe wachsen die Fähigkeiten, aber auch die Kosten für Training und Betrieb. Deshalb bieten alle Anbieter mehrere Größen an: kleine, schnelle Modelle für einfache Aufgaben und große für schwierige.

Was ein LLM gut kann

• Texte schreiben, umformulieren, kürzen und übersetzen
• Informationen aus Dokumenten herausziehen und ordnen
• Programmcode schreiben und erklären
• Fragen zu Inhalten beantworten, die man ihm mitgibt

Wo die Grenzen liegen

Ein Sprachmodell hat kein Faktenregister, sondern Wahrscheinlichkeiten. Fehlt ihm Wissen, erzeugt es trotzdem eine plausibel klingende Antwort; das nennt man Halluzinationen. Sein Wissen endet außerdem mit dem Trainingsstand, und rechnen kann es nur eingeschränkt (mehr dazu im Artikel Kann KI rechnen?). Zwischen zwei Anfragen erinnert es sich an nichts: Was es wissen soll, muss im Kontextfenster stehen.

Was ein LLM kostet

Über die API zahlen Sie pro Token, getrennt nach Eingabe und Ausgabe. Kleine Modelle kosten wenige Cent pro Million Tokens, große mehrere Euro. Wie viele Tokens Ihr Text hat, zeigt der Token-Zähler, die Preise aller Modelle stehen unter Modelle & Preise.