Entropie berechnen: Shannon-Entropie

Shannon-Entropie verständlich erklärt

Mit diesem Werkzeug können Sie die Entropie berechnen, genauer die Shannon-Entropie einer Zeichenfolge. Sie gibt an, wie viele Bit pro Zeichen im Mittel nötig sind, um den Text bei bekannter Zeichenhäufigkeit verlustfrei zu kodieren. Die Formel lautet H = −Σ p · log₂ p, wobei p der Anteil jedes Symbols ist. Ein Text, der nur aus einem Zeichen besteht, hat die Entropie 0; sind alle 256 Byte-Werte gleich häufig, erreicht sie das Maximum von 8 Bit pro Byte.

Der Entropie-Rechner zeigt neben dem Mittelwert den gesamten Informationsgehalt (Entropie mal Anzahl Symbole), das theoretische Maximum für die Zahl verschiedener Symbole und eine Tabelle der Zeichenhäufigkeit mit dem Beitrag jedes Symbols. Sie können Zeichen, UTF-8-Bytes, Hex-Daten oder Wörter zählen lassen und auch eine Datei lokal auswerten. Typische Anwendungen: Erkennen, ob Daten komprimiert oder verschlüsselt sind (Werte nahe 8 Bit pro Byte), Einschätzen der Kompressionsrate von Text oder Unterricht in Informationstheorie. Prüfsummen für Dateien berechnet der CRC32-Rechner.

Grenzen: Die Shannon-Entropie bewertet nur die Häufigkeit einzelner Symbole, nicht deren Reihenfolge. „abababab“ und „aabbabba“ haben dieselbe Entropie von 1 Bit pro Zeichen. Für die Stärke eines Passworts ist der Wert deshalb kein guter Maßstab, weil Wörter und Muster nicht erkannt werden; dafür eignet sich die Passwort-Stärke-Prüfung besser.