Byte Pair Encoding: So zerlegt ein Tokenizer Text

2 Min. LesezeitAktualisiert am Mit KI erstellt · redaktionell verantwortet

Byte Pair Encoding (BPE) ist das Verfahren, mit dem fast alle großen Sprachmodelle Text in Tokens zerlegen. Es erklärt, warum „Haus“ ein Token ist, „Donaudampfschifffahrt“ aber fünf, und warum dieselbe Seite in verschiedenen Modellen unterschiedlich viel kostet.

Kurz gesagt

Byte Pair Encoding (BPE) ist das Verfahren, mit dem fast alle großen Sprachmodelle Text in Tokens zerlegen. Es startet bei einzelnen Bytes und fasst die häufigsten Zeichenpaare immer wieder zu neuen Einträgen zusammen, bis ein Vokabular mit 100.000 bis 260.000 Einträgen entsteht. Häufige Wörter sind ein Token, seltene werden zerlegt.

Die Idee: häufige Paare zusammenfassen

BPE beginnt mit einzelnen Bytes, also Buchstaben und Zeichen. Dann zählt es in einer großen Textsammlung, welches Paar am häufigsten nebeneinander steht, etwa „e“ und „n“, und macht daraus ein neues Zeichen „en“. Das wiederholt sich viele tausend Mal: aus „en“ und „t“ wird „ent“, später vielleicht „ung“, „die“ oder „ the“. Am Ende steht ein Vokabular mit 100.000 bis 260.000 Einträgen.

Was daraus folgt

  • Häufige Wörter sind ein Token. „und“, „the“ oder „Haus“ kommen so oft vor, dass sie ein eigenes Token bekommen haben.
  • Seltene Wörter werden zerlegt. Lange Komposita, Fachbegriffe und Namen bestehen aus mehreren Stücken.
  • Leerzeichen gehören dazu. „ Haus“ mit Leerzeichen davor ist ein anderes Token als „Haus“ am Zeilenanfang.
  • Nichts ist unbekannt. Weil BPE auf Bytes aufbaut, lässt sich jeder Text darstellen, auch Emojis und chinesische Zeichen, nur eben in mehr Tokens.

Warum Deutsch teurer ist

Die Vokabulare werden überwiegend mit englischem Text gelernt. Englische Wörter landen deshalb öfter vollständig im Vokabular, deutsche Wörter werden häufiger zerlegt. Ein deutscher Text braucht etwa 1,45 Tokens pro Wort, ein englischer rund 1,3. Details und Messwerte im Artikel Warum deutsche Texte mehr Tokens brauchen.

Jeder Anbieter hat seinen eigenen Tokenizer

OpenAI veröffentlicht seinen Tokenizer (o200k), deshalb lassen sich GPT-Tokens exakt zählen. Anthropic und Google nennen ihre Tokenizer nicht vollständig; für denselben deutschen Text zählen aktuelle Claude-Modelle rund ein Drittel mehr Tokens als GPT. Für Kostenvergleiche heißt das: Nicht nur der Preis pro Token zählt, sondern auch, wie viele Tokens ein Modell für Ihren Text braucht. Der Token-Zähler zeigt die Zerlegung live und rechnet die Unterschiede ein.

Häufige Fragen

Warum braucht deutscher Text mehr Tokens als englischer?

Die Vokabulare der Tokenizer werden überwiegend mit englischem Text gelernt, deshalb werden deutsche Wörter häufiger zerlegt. Ein deutscher Text braucht etwa 1,45 Tokens pro Wort, ein englischer rund 1,3.

Zählen alle KI-Modelle Tokens gleich?

Nein, jeder Anbieter hat seinen eigenen Tokenizer. OpenAI veröffentlicht seinen Tokenizer, Anthropic und Google nicht vollständig. Für denselben deutschen Text zählen aktuelle Claude-Modelle rund ein Drittel mehr Tokens als GPT.

Kann ein BPE-Tokenizer jedes Zeichen darstellen?

Ja. Weil BPE auf Bytes aufbaut, lässt sich jeder Text darstellen, auch Emojis und chinesische Zeichen. Seltene Zeichen und Wörter brauchen dafür aber mehr Tokens als häufige Wörter aus dem Vokabular.

Leon Blatz betreibt Tokenlabor und verantwortet alle Inhalte redaktionell. Texte entstehen mit Unterstützung von KI unter redaktioneller Kontrolle; Preise und Fakten stammen aus den genannten Quellen, Hinweise auf Fehler werden geprüft und korrigiert. Mehr über Tokenlabor

Allgemeine Information, keine Rechts-, Steuer- oder Finanzberatung.

Token-ZählerTokens eines Textes oder einer Datei (PDF, Word, TXT) zählen, mit Kosten für alle Modelle.
Öffnen

Auch hilfreich: Antwortzeit-Rechner · max_tokens-Rechner

Weiterlesen

Passende Artikel

Alle zu Grundlagen
  1. Was sind Tokens? Einfach erklärtTokens sind die Rechen- und Abrechnungseinheit von Sprachmodellen. Was ein Token ist, wie viele ein deutscher Text hat und warum das Geld kostet.
  2. Kontextfenster erklärt: Wie viel Text ein Modell auf einmal verarbeitetDas Kontextfenster begrenzt, wie viel ein KI-Modell gleichzeitig lesen und schreiben kann. Was die Zahl bedeutet, wo die Grenzen liegen und wie man damit umgeht.
  3. Warum deutsche Texte mehr Tokens brauchen als englischeDeutsche Texte brauchen meist 20 bis 50 Prozent mehr Tokens als englische. Woran das liegt, was es kostet und was man dagegen tun kann.
  4. Was ist multimodale KI? Text, Bild und Ton in einem ModellWas ist multimodale KI? Modelle, die Text, Bilder, Ton und Video verstehen. Wie das funktioniert, wofür es sich eignet und was Bilder als Eingabe kosten.