Was sind Tokens? Einfach erklärt

Sprachmodelle wie GPT, Claude oder Gemini lesen Text nicht Buchstabe für Buchstabe und auch nicht Wort für Wort, sondern in Stücken, die Tokens heißen. Alles, was Sie an ein Modell schicken, und alles, was es antwortet, wird in Tokens gezählt und danach abgerechnet.

Ein Token ist ein Textstück

Ein Token kann ein ganzes Wort sein, ein Wortteil, ein Satzzeichen oder ein Leerzeichen mit dem folgenden Wortanfang. Häufige Wörter wie „und“ oder „the“ sind meist ein einziges Token. Seltene oder lange Wörter werden zerlegt: „Heizungsanlage“ wird zum Beispiel zu „Heiz“, „ungs“ und „anlage“, je nach Modell auch anders. Wie genau zerlegt wird, legt ein sogenannter Tokenizer fest, den jeder Anbieter selbst trainiert.

Deshalb hat derselbe Text bei verschiedenen Modellen eine unterschiedliche Tokenzahl. Die Unterschiede liegen meist zwischen 10 und 35 Prozent. Für OpenAI-Modelle ist der Tokenizer öffentlich, unser Token-Zähler rechnet damit exakt. Für andere Anbieter schätzt er auf Grundlage dieser Zählung.

Wie viele Tokens hat ein deutscher Text?

Als Faustregel gilt für Englisch: ein Token entspricht etwa vier Zeichen oder drei Viertel eines Worts. Deutsch schneidet etwas schlechter ab, weil die Tokenizer überwiegend auf englischem Text trainiert wurden und deutsche Wörter länger und zusammengesetzt sind. Grobe Richtwerte für deutsche Texte:

• Ein Wort entspricht etwa 1,3 bis 1,6 Tokens.
• Eine DIN-A4-Seite Fließtext (rund 500 Wörter) entspricht 650 bis 800 Tokens.
• 1.000 Tokens sind etwa 600 bis 750 deutsche Wörter.

Umlaute und „ß“ kosten oft ein zusätzliches Token, weil sie intern aus mehreren Bytes bestehen. Auch Zahlen, Code und Tabellen sind tokenintensiv: Jede Ziffernfolge, jedes Zeichen in einer Formel wird einzeln oder in kleinen Gruppen gezählt.

Warum Tokens Geld kosten

Die Anbieter rechnen pro Million Tokens ab, getrennt nach Eingabe (alles, was Sie schicken, einschließlich Systemanweisung und Gesprächsverlauf) und Ausgabe (die Antwort). Ausgabe ist meist vier- bis fünfmal so teuer wie Eingabe, weil das Modell jeden Antwort-Token einzeln erzeugen muss. Welche Modelle was kosten, zeigt der Kostenrechner mit aktuellen Listenpreisen.

Ein Beispiel: Sie schicken eine Seite Text (800 Tokens) und bekommen eine halbe Seite Antwort (400 Tokens). Bei einem Modell, das umgerechnet 1,80 Euro je Million Eingabe-Tokens und 9 Euro je Million Ausgabe-Tokens kostet, macht diese Anfrage 0,0014 plus 0,0036 Euro, zusammen etwa einen halben Cent. Bei tausend solcher Anfragen am Tag sind es rund 150 Euro im Monat.

Tokens und das Kontextfenster

Jedes Modell kann nur eine begrenzte Menge Tokens auf einmal verarbeiten, das sogenannte Kontextfenster. Es umfasst Eingabe und Ausgabe zusammen. Aktuelle Modelle schaffen 200.000 bis über eine Million Tokens, das entspricht mehreren hundert bis über tausend Seiten. Mehr dazu im Artikel Kontextfenster erklärt.

Tokens zählen, bevor man zahlt

Wer regelmäßig mit Sprachmodellen arbeitet oder sie in eigene Programme einbaut, sollte seine typischen Texte einmal durchzählen. Das zeigt, welche Anteile des Prompts wirklich nötig sind, und macht Kostenschätzungen realistisch. Der Token-Zähler arbeitet komplett im Browser, der Text verlässt Ihr Gerät nicht.