UniCode ist ein universeller Zeichensatz, der Zeichen aus allen Sprachen dieser Welt enthält (bzw. enthalten kann).

Begriffe:

• UCS-2 ist die 2Byte/16Bit-Repräsentation von Unicode-Zeichen. Damit sind die wichtigsten Zeichen adressierbar.

• UCS-4 ist die 4Byte/32Bit-Repräsentation von Unicode-Zeichen. Damit sind alle Unicode-Zeichen adressierbar.

• UTF-8 ist eine Enkodierung, die Unicode-Zeichen auf ein oder mehrere Einzelbyte(s) abbildet. Besondere Eigenschaften macht sie besonders kompatibel:

  • ASCII-Zeichen 0..127 sind in UTF-8 identisch

  • bei Zeichen >127 werden Mehrbyte-Sequenzen gebildet, die aber keine Nullbytes enthalten (was bei C-ähnlichen Sprachen und den damit erstellten Programmen problematisch wäre, weil es dort das Ende der Zeichenkette bedeutet).

• UTF-7 ist ähnlich wie UTF-8, aber die kodierte Zeichenkette enthält nur reine 7Bit ASCII Zeichen. Diese Kodierung wird selten gebraucht.

• UTF-16 ist eine Kodierung, bei der die meisten Zeichen wie bei UCS-2 mit 2Byte (16Bit) dargestellt werden. Wo das aber nicht ausreicht, können Zeichen auch mal mit 4Byte (32Bit) mittels sogenannter Ersatzzeichen (engl: surrogate characters) dargestellt werden.

Mini-HowTo

Font für X11

Wenn man keinen Unicode-Font installiert hat, zeigt z.B. Mozilla bei unbekannten Zeichen nur Kästchen mit jeweils 4 Hexzahlen an.

Abhilfe:

# Debian enthält den Font ttf-freefont, der viele Tausend Unicode-Zeichen enthält
apt-get install ttf-freefont

Des weiteren muss noch locale umgestellt werden: LANG=de_DE.UTF-8

Mozilla

Preferences > Appearance > Fonts, Fonts for Unicode:

• Serif: FreeSerif

• Sans-serif: FreeSans

• Monospace: FreeMono

Test

http://www.alanwood.net/unicode/unicode_samples.html - bei z.B. cyrillic und greek sollten dann entspr. Schriftzeichen erscheinen. Eine weitere gute Seite mit Beispielen ist http://www.columbia.edu/kermit/utf8.html

Mit ttf-freefont erscheinen dort die wichtigsten Zeichen der wichtigsten Sprachen - aber obwohl dieser Font einige tausend Zeichen enthält, bleiben auf der Testseite doch noch einige "Hex-Kästchen".

Fragen und Antworten

Frage: Wie ist denn der Stand beim Unicode-Support? Inwieweit gibts Unterstützung vom Betriebssystem, welche Anwendungen funktionieren damit? (Euro-Symbol, gleichzeitige Verwendung von osteuropäischen, türkischen und spanischen Zeichen in einem Text, etc.)

Distributionen:

• RedHat ist seit Version 8 standardmäßig auf utf-8 eingestellt.

• SuSE ist seit Version 9.1 ebenfalls standardmäßig auf utf-8 eingestellt.

• Debian siehe HOWTO

Anwendungen: Standardmäßig werden alle neueren GNOME- / GTK-Programme wie z.B. GRip oder easytag für das Dateisystem utf-8, was zu Problemen führt, wenn der Rest des Systems noch ISO-8859-15 nutzt: es werden keine Umlaute und andere Sonderzeichen angezeigt. Daher kann man den Parameter G_FILENAME_ENCODING=@locale setzen (entweder systemweit in /etc/enviroment oder per User in ~/.xsession).

• Mozilla 1.3 und 1.5a funktioniert (andere Versionen nicht getestet)

• Konqueror natürlich auch

• von xterm gibt es eine Unicode-fähige Variante "uxterm"

• auf der Textmodus-Konsole wird es schwieriger, siehe ConsoleFonts

• wily, eine Portierung des sehr seltsamen Editors von Plan9, benutzt ebenfalls Unicode

• gucharmap und kcharselect sind zwei Programme, mit denen man sich alle Zeichen hübsch ansehen und in die Ablage kopieren kann.

• KDE - alle KDE-Programme unterstützen utf-8, GNOME (AFIAK) ebenfalls

• LaTeX - \usepackage[utf8]{inputenc}

Editoren

• Emacs

• yudit ist ein Unicode-Editor

• kate, kwrite, kdevelopp, quanta-plus, kile, etc. ... : alle Editoren aus dem KDE-Projekt

Programmiersprachen:

• Python unterstützt UCS-2 oder UCS-4 (je nach Compile-Time-Einstellung per configure) und div. Encodings wie UTF-16, UTF-8, ISO 8859-x, usw., die sich beliebig erweitern lassen (siehe u.a. SourceForge für Codec-Projekte).

• Perl unterstützt UTF-8, näheres hierzu siehe http://www.heise.de/ix/artikel/2000/05/178/

• Java hat ebenfalls Unicode-Unterstützung

• C hat prinzipiell auch Unicode-Support, jedoch nicht wirklich einfach (mit wchar).

Betriebssystem:

• Dateinamen: UTF-8 ist bei Zeichen 0..127 identisch mit ASCII und bei Zeichen-Kodierungen mit mehr als 1 Byte werden keine Nullbytes verwendet. Daher sollte GNU/Linux damit i.d.R. funktionieren.

• Problematisch ist es immer, wenn eine Anwendung einen anderen Zeichensatz erwartet als man ihr vorsetzt, insbesondere bei UTF-8 <> Single-Byte-Zeichensatz (z.B. Latin-1)

  • Dadurch kann z.B. mit manchen Programmen auf bestimmte Dateinamen nicht zugegriffen werden.

  • Bei der Verwendung eines Dateisystems in verschiedenen Betriebssystemen ist Vorsicht geboten, am Besten immer den gleichen Zeichensatz verwenden!

Generell:

• verwendet eine Anwendung UTF-8 und produziert damit Daten, dann sollte der Empfänger der Daten idealerweise auch UTF-8 verstehen, sonst werden z.B. Umlaute als seltsame 2-Zeichen-Kombinationen dargestellt - dies kann mit nicht-UTF-8-fähigen IRC- oder E-Mail-Programmen öfters beobachtet werden. Der Text ist allerdings i.d.R. trotzdem noch verständlich und damit auch nicht tragischer als die seither auftretenden Probleme mit verschiedenen Zeichensätzen.
• exotische Dinge wie Bidirektionalität (auch "von rechts nach links schreiben"), die Eingabe exotischer, komplexer Zeichen u.ä. kann von den meisten Anwendungen derzeit nicht erwartet werden

Tools:

• iconv wird seit der glibc 2.1 mitgeliefert, das zwischen den verschiedenen Zeichensätzen konvertieren kann.
• Das Paket GNU recode unterstützt seit Version 3.5 ebenfalls Unicode.

• convmv kann automatisch Dateinamen zwischen Zeichensätzen konvertieren.

Migration von Dateien

Zuerstmal sollte man alle Dateinamen migrieren, das geht am Besten mit convmv:

convmv -f iso-8859-15 -t utf-8 -r .

Beim mount kann ebenfalls mitgeteilt werden, wie die Dateinamen kodiert sind (z.b.: mount -t vfat -o utf8 ... ).

Die Konvertierung von Dateiinhalten ist schwieriger, prinzipiell kann und sollte man nur Dateien konvertieren, die ausschließlich Text beinhalten und keine Binärdaten.

• Office-Dokumente: sind meist binär, kann man bestenfalls innerhalb der Anwendung konvertieren
• HTML-, XML-, PHP-Dateien: kann man wie reine Textdateien konvertieren, man muss aber zusätzlich die Header ändern
• reine Textdateien: Konvertierung mit iconv

  find . -type f -name '*.txt' -exec iconv -f iso-8859-15 -t utf-8 -o {}.tmp {} \; -exec mv {}.tmp {} \;