Tokens berechnen und Modelle wählen

Tokens berechnen, Kontextfenster einschätzen und das passende Modell finden: Werkzeuge rund um Tokens, Kontext, Temperatur und Modellauswahl.

9 Werkzeuge

Alle Werkzeuge: Tokens und Modelle

Worum es hier geht

Tokens sind die Einheit, in der Sprachmodelle Text lesen, schreiben und abrechnen. Ein deutsches Wort entspricht im Schnitt 1,3 bis 1,6 Tokens. Mit den Werkzeugen in diesem Bereich zählen Sie Tokens exakt, rechnen Wörter und Seiten um und prüfen, ob ein Text ins Kontextfenster eines Modells passt.

Außerdem finden Sie hier Hilfen für die Modellwahl: den Modell-Finder, den Temperatur-Simulator und Rechner für Antwortzeit, Durchsatz und maximale Ausgabelänge.

Fragen

Häufige Fragen

Wie viele Tokens hat ein Text?

Das zeigt der Token-Zähler exakt für den gewählten Tokenizer. Als Faustregel gilt bei Deutsch etwa ein Token pro 3 bis 4 Zeichen.

Warum zählen Modelle Tokens unterschiedlich?

Jeder Anbieter nutzt einen eigenen Tokenizer. Derselbe Text kann deshalb bei verschiedenen Modellen unterschiedlich viele Tokens ergeben.

Was passiert, wenn das Kontextfenster voll ist?

Die Anfrage wird abgelehnt oder ältere Teile des Gesprächs fallen weg. Der Kontextfenster-Rechner zeigt, wie viel Platz bleibt.