N-Gramm-Analyse

So funktioniert es

Die N-Gramm-Analyse zählt, welche Folgen von N Wörtern oder Zeichen in einem Text vorkommen. Bigramme sind Paare aufeinanderfolgender Wörter, Trigramme Dreiergruppen. Aus „Die Kosten für die Cloud steigen“ entstehen die Bigramme „die kosten“, „kosten für“, „für die“, „die cloud“ und „cloud steigen“. Wer Wortgruppen zählen will, sieht so sofort, welche Phrasen sich wiederholen, etwa „im Rahmen“, „künstliche Intelligenz“ oder eine Lieblingswendung des Autors.

Mit „Stoppwörter am Rand verwerfen“ fallen N-Gramme weg, die mit einem Füllwort wie der, und, für beginnen oder enden; übrig bleiben die aussagekräftigen Phrasen. „Nicht über Satzgrenzen hinweg“ verhindert, dass das letzte Wort eines Satzes mit dem ersten des nächsten gekoppelt wird. Zeichen-N-Gramme zerlegen den Text in Buchstabenfolgen; sie sind die Grundlage einfacher Spracherkennung und Ähnlichkeitsmaße. Leerzeichen erscheinen dabei als ␣. Um gezielt Phrasen finden zu können, die in einem Text zu oft vorkommen, eignen sich Bigramme und Trigramme mit Mindestanzahl 2 oder 3. Einzelne Wörter zählt auch die Keyword-Dichte.

Die Analyse ist rein statistisch: Sie kennt keine Grammatik und fasst keine Wortformen zusammen. „Kosten“ und „Kostens“ sind verschiedene Einträge. Wörter werden an Leerzeichen und Satzzeichen getrennt, Bindestrich-Wörter wie E-Mail bleiben zusammen. Der Anteil bezieht sich auf alle N-Gramme der gewählten Länge im Text.