Textähnlichkeit berechnen: zwei Texte vergleichen

Jaccard, Shingles und Kosinus erklärt

Mit diesem Werkzeug können Sie die Textähnlichkeit berechnen und zwei Texte vergleichen, ohne sie Zeile für Zeile durchzugehen. Es beantwortet Fragen wie: Wie stark hat eine Umformulierung den Ausgangstext verändert? Sind zwei Produktbeschreibungen fast gleich und damit Duplicate Content? Steckt ein Absatz nahezu wörtlich in einem anderen Dokument?

Das wichtigste Maß ist die Jaccard-Ähnlichkeit über Shingles. Ein Shingle ist eine Folge von k aufeinanderfolgenden Wörtern; bei k = 3 entstehen aus „der schnelle braune Fuchs“ die Shingles „der schnelle braune“ und „schnelle braune Fuchs“. Die Jaccard-Ähnlichkeit ist die Zahl gemeinsamer Shingles geteilt durch die Zahl aller verschiedenen Shingles beider Texte, also ein Wert zwischen 0 und 1. Größere Shingles reagieren empfindlicher auf geänderte Reihenfolge, k = 1 vergleicht nur den Wortschatz. Das Enthaltensein zeigt, welcher Anteil eines Textes im anderen steckt, was bei sehr unterschiedlich langen Texten aussagekräftiger ist. Die Kosinus-Ähnlichkeit von Texten vergleicht die Worthäufigkeiten unabhängig von der Reihenfolge; Zeichen-Trigramme erkennen Übereinstimmungen trotz Beugung oder Tippfehlern. Für Embedding-Vektoren gibt es den eigenen Rechner Kosinus-Ähnlichkeit.

Grenzen: Alle Maße vergleichen Wörter, nicht Bedeutungen. Zwei Texte mit gleichem Inhalt in anderen Worten erhalten niedrige Werte; dafür eignen sich semantische Verfahren mit Embeddings. Für einen genauen Vergleich, welche Zeilen sich geändert haben, nutzen Sie den Text-Diff. Eine Plagiatsprüfung gegen fremde Quellen ersetzt das Werkzeug nicht, es vergleicht nur die beiden eingegebenen Texte.