Zeichenkodierung erkennen und Mojibake reparieren

Encoding erkennen: BOM, UTF-8 und Windows-1252

Dieses Werkzeug hilft, die Zeichenkodierung zu erkennen, wenn Umlaute in einer Datei kaputt aussehen. Es liest die Datei als Bytes und prüft, ob am Anfang ein BOM (Byte Order Mark) steht, ob die Bytes gültiges UTF-8 sind und an welcher Stelle der erste Fehler liegt, ob Bytes von 0x80 bis 0x9F vorkommen, die typisch für Windows-1252 sind, und ob viele Null-Bytes auf UTF-16 hindeuten. Daraus ergibt sich eine begründete Einschätzung. Mit „Vorschau als“ können Sie andere Kodierungen ausprobieren und die Datei als UTF-8 speichern.

Ein sicheres Encoding erkennen ist allerdings nicht möglich: Eine Datei aus reinen ASCII-Zeichen ist gleichzeitig gültiges UTF-8, Windows-1252 und ISO-8859-15, und zwischen den 8-Bit-Kodierungen lässt sich nur anhand typischer Zeichen raten. Die Prüfung, ob eine Datei gültiges UTF-8 ist, ist dagegen zuverlässig: Zufällige Bytes ergeben fast nie gültige UTF-8-Folgen. Dateien mit Umlauten, die nicht UTF-8 sind, stammen in Deutschland meist aus Windows-1252, das ISO-8859-1 um Zeichen wie €, „ und – erweitert.

Mojibake nennt man Zeichensalat wie „Grüße“ statt „Grüße“. Er entsteht, wenn UTF-8-Bytes als Windows-1252 gelesen und erneut gespeichert werden. Der Teil „Mojibake reparieren“ kehrt das um, auch bei doppelter Falschkodierung, und repariert nur die betroffenen Stellen. Steht im Text bereits das Ersatzzeichen �, ist die Information verloren. Wer einzelne Zeichen genauer ansehen und UTF-8 prüfen möchte, nutzt den UTF-8-Byte-Zähler.