Text in Sätze aufteilen

So funktioniert es

Dieses Werkzeug soll einen Text in Sätze aufteilen, so wie ein Mensch es tun würde. Die Satztrennung klingt einfach, ist es aber nicht: Nicht jeder Punkt beendet einen Satz. „Wir treffen uns am 3. Oktober um 10 Uhr, z. B. bei Dr. Meier.“ ist ein einziger Satz, obwohl er vier Punkte enthält. Die Satzerkennung prüft deshalb jede Stelle mit Punkt, Ausrufezeichen, Fragezeichen oder Auslassungspunkten und entscheidet anhand von Regeln, ob dort ein neuer Satz beginnt.

Die Regeln: Abkürzungen aus einer Liste (z. B., bzw., ca., Dr., Nr., usw., Mr., e.g. und viele mehr) beenden keinen Satz, einzelne Buchstaben mit Punkt wie Initialen ebenfalls nicht. Folgt auf den Punkt ein kleingeschriebenes Wort, läuft der Satz weiter. Eine Zahl mit Punkt vor einem Monatsnamen oder kleingeschriebenen Wort gilt als Ordnungszahl. Anführungszeichen und Klammern nach dem Satzzeichen gehören noch zum Satz. Leerzeilen trennen immer; einfache Zeilenumbrüche nur, wenn Sie das einschalten, denn Text aus PDFs enthält oft harte Umbrüche mitten im Satz. Über die Ausgabe können Sie die Sätze nummerieren, als JSON-Array oder als JSONL mit einem Objekt pro Zeile ausgeben, etwa für Testdaten oder die Batch-Verarbeitung.

Grenzen: Unbekannte Abkürzungen am Satzende, Überschriften ohne Punkt oder Aufzählungen ohne Satzzeichen können falsch getrennt werden. Prüfen Sie lange Ergebnisse stichprobenartig. Um einen Text nicht in Sätze, sondern in gleich große Stücke für ein Sprachmodell zu zerlegen, nutzen Sie Text aufteilen; zu lange Sätze findet Satzlänge prüfen.