Text aufteilen

Chat-Oberflächen begrenzen oft die Länge einer Nachricht, und jedes Modell hat ein Kontextfenster. Auch für Suchsysteme (RAG) werden Dokumente in kleinere Abschnitte zerlegt, damit nur die passenden Stellen an das Modell gehen.

Für das Einfügen in Chats reichen meist 3.000 bis 8.000 Tokens pro Teil. Für RAG-Systeme sind 300 bis 1.000 Tokens mit 10 bis 20 Prozent Überlappung üblich.

Sie wiederholt das Ende des vorigen Teils am Anfang des nächsten. So bleibt ein Satz oder Gedanke, der an der Schnittstelle liegt, in beiden Teilen verständlich.

Nein. Zählen und Teilen passieren vollständig in Ihrem Browser.

Wer einen langer Text ChatGPT geben will, scheitert oft an der Zeichenbegrenzung des Eingabefelds. Teilen Sie den Text in Abschnitte von 3.000 bis 8.000 Tokens und schicken Sie sie mit der Chat-Anweisung nacheinander.

Chunking heißt das Zerlegen von Dokumenten in kleine Abschnitte, meist für Suchsysteme (RAG). Das Werkzeug arbeitet wie ein Text-Splitter: nach Absätzen oder exakt nach Tokens, mit einstellbarer Überlappung.