Byte Pair Encoding: So zerlegt ein Tokenizer Text
Byte Pair Encoding (BPE) ist das Verfahren, mit dem fast alle großen Sprachmodelle Text in Tokens zerlegen. Es erklärt, warum „Haus“ ein Token ist, „Donaudampfschifffahrt“ aber fünf, und warum dieselbe Seite in verschiedenen Modellen unterschiedlich viel kostet.
Byte Pair Encoding (BPE) ist das Verfahren, mit dem fast alle großen Sprachmodelle Text in Tokens zerlegen. Es startet bei einzelnen Bytes und fasst die häufigsten Zeichenpaare immer wieder zu neuen Einträgen zusammen, bis ein Vokabular mit 100.000 bis 260.000 Einträgen entsteht. Häufige Wörter sind ein Token, seltene werden zerlegt.
Die Idee: häufige Paare zusammenfassen
BPE beginnt mit einzelnen Bytes, also Buchstaben und Zeichen. Dann zählt es in einer großen Textsammlung, welches Paar am häufigsten nebeneinander steht, etwa „e“ und „n“, und macht daraus ein neues Zeichen „en“. Das wiederholt sich viele tausend Mal: aus „en“ und „t“ wird „ent“, später vielleicht „ung“, „die“ oder „ the“. Am Ende steht ein Vokabular mit 100.000 bis 260.000 Einträgen.
Was daraus folgt
- Häufige Wörter sind ein Token. „und“, „the“ oder „Haus“ kommen so oft vor, dass sie ein eigenes Token bekommen haben.
- Seltene Wörter werden zerlegt. Lange Komposita, Fachbegriffe und Namen bestehen aus mehreren Stücken.
- Leerzeichen gehören dazu. „ Haus“ mit Leerzeichen davor ist ein anderes Token als „Haus“ am Zeilenanfang.
- Nichts ist unbekannt. Weil BPE auf Bytes aufbaut, lässt sich jeder Text darstellen, auch Emojis und chinesische Zeichen, nur eben in mehr Tokens.
Warum Deutsch teurer ist
Die Vokabulare werden überwiegend mit englischem Text gelernt. Englische Wörter landen deshalb öfter vollständig im Vokabular, deutsche Wörter werden häufiger zerlegt. Ein deutscher Text braucht etwa 1,45 Tokens pro Wort, ein englischer rund 1,3. Details und Messwerte im Artikel Warum deutsche Texte mehr Tokens brauchen.
Jeder Anbieter hat seinen eigenen Tokenizer
OpenAI veröffentlicht seinen Tokenizer (o200k), deshalb lassen sich GPT-Tokens exakt zählen. Anthropic und Google nennen ihre Tokenizer nicht vollständig; für denselben deutschen Text zählen aktuelle Claude-Modelle rund ein Drittel mehr Tokens als GPT. Für Kostenvergleiche heißt das: Nicht nur der Preis pro Token zählt, sondern auch, wie viele Tokens ein Modell für Ihren Text braucht. Der Token-Zähler zeigt die Zerlegung live und rechnet die Unterschiede ein.
Häufige Fragen
Warum braucht deutscher Text mehr Tokens als englischer?
Die Vokabulare der Tokenizer werden überwiegend mit englischem Text gelernt, deshalb werden deutsche Wörter häufiger zerlegt. Ein deutscher Text braucht etwa 1,45 Tokens pro Wort, ein englischer rund 1,3.
Zählen alle KI-Modelle Tokens gleich?
Nein, jeder Anbieter hat seinen eigenen Tokenizer. OpenAI veröffentlicht seinen Tokenizer, Anthropic und Google nicht vollständig. Für denselben deutschen Text zählen aktuelle Claude-Modelle rund ein Drittel mehr Tokens als GPT.
Kann ein BPE-Tokenizer jedes Zeichen darstellen?
Ja. Weil BPE auf Bytes aufbaut, lässt sich jeder Text darstellen, auch Emojis und chinesische Zeichen. Seltene Zeichen und Wörter brauchen dafür aber mehr Tokens als häufige Wörter aus dem Vokabular.