UTF-16
Us der alemannische Wikipedia, der freie Dialäkt-Enzyklopedy
UTF-16 isch ä Kodierung fyr Unicode-Zeiche, optimiert uff d hiffigscht bruchte Zeiche uss de „Basic multilingual plane“ (BMP).
UTF-16 wird sowohl vum Unicode-Konsortium als au vun ISO/IEC 10646 definiert. Unicode definiert dobi e zuesätzlichi Semantik. E gnauer Vergleich findet mer im Anhong C vum Unicode-4.0-Standard. D ISO-Norm definiert witerhin e Kodierung UCS-2, wo abr numme 16-Bit-Darschtellunge vun de BMP erlaube tuet.
D BMP enthält d Unicode-Zeiche, wo derre Code im Breich U+0000 bies U+FFFF liege tuet. In dem Breich sin fyr UTF-16 Ersatz-Zeiche (ängl. surrogate characters) reserviert.
D Zeiche uss de BMP werre dobi direkt uff d 16 Bits vun ra UTF-16-Code-Unit abbildet. Unicode-Zeiche, wue de Code sich nit mit 16 Bit darschtelle losse tuet, blege zwey 16-Bit-Wörter (ängl: code units), wue sich uss so gnonnte Ersatzzeiche (ängl: surrogate character) wiä folgt zommesetze:
Bit 31 24|23 16|15 8|7 0| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |0 0 0 0 0 0 0 0|0 0 0 z z z z z|x x x x x x y y|y y y y y y y y| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
High-Surrogate (U+D800 ... U+DBFF)
|15 8|7 0| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |1 1 0 1 1 0 Z Z|Z Z x x x x x x| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Low-Surrogate (U+DC00 ... U+DFFF)
|15 8|7 0| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |1 1 0 1 1 1 y y|y y y y y y y y| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Dobie tuet gelte: ZZZZ=zzzzz-1.
Dorus ergibt sich de zuelässig Wertbreich fyr UTF-16:
zzzzz=00000 -> ä 16-Bit-Wort -> U+00xxxx onderschfalls: ZZZZ=0000..1111 -> zzzz=00001..10000 = U+01xxxx .. U+10xxxx
D beidi Ersatzzeiche werre in de Reihefolg High Surrogate Low Surrogate gsendet. S lasse sich somit Unicode-Zeiche bies zue U+10FFFF kodiere.
Bie de Ybertragung vun UTF-16-Date z. B. yber ä Netzwerk un bim Spychere uff Dateträger werre d beidi Bytes, uss denne e 16-Bit-Wort bstoht, nochenonder ybertrage. Je noch de Byte-Reihefolg vun de Rechnerarchitektur werre s dobi in 'ra vun zwey unterschiedlichi Reihenfolge ogordnet. Dodurch ergebe sich zwey verschiedeni Kodierunge, wo als UTF-16BE (Big Endian) un UTF-16LE (Little Endian) bezeichnet werre:
UTF-16-Zeiche
Bit |15 8|7 0| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |y y y y y y y y|x x x x x x x x| +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
UTF-16BE-Kodierung
1. Byte 2. Byte |7 0| |7 0| +-+-+-+-+-+-+-+-+ +-+-+-+-+-+-+-+-+ |y y y y y y y y| |x x x x x x x x| +-+-+-+-+-+-+-+-+ +-+-+-+-+-+-+-+-+
UTF-16LE-Kodierung
1. Byte 2. Byte |7 0| |7 0| +-+-+-+-+-+-+-+-+ +-+-+-+-+-+-+-+-+ |x x x x x x x x| |y y y y y y y y| +-+-+-+-+-+-+-+-+ +-+-+-+-+-+-+-+-+
Um diä Kodierunge unterscheide zue kinne, wird empfohle, s Unicode-Zeiche U+FEFF (BOM, byte order mark), des fyr ä Leerzeiche mit Breiti Null un ohni Zeileumbruch stoht, on de Ofong vum Datestrom zue setze. Wird des als U+FFFE – wo ä ugyltigs Unicode-Zeiche isch – empfange, denn beditet des, dess d Bytereihefolg zwische Sender un Empfänger unterschiedlich sin un somit bim Empfänger d Bytes vun jedem 16-Bit-Wort vertuscht werre miesse.
Bi de Umwondlung vun UTF-16-Strings in UTF-8-Bytefolge isch zue beachte, des d Ersatzzeiche (surrogates) z'erscht zue nem Unicode-Zeichecode zommegfasst werre miesse, bvor diä dann in ä UTF-8-Bytefolg umgwondelt werre kinne. (Beispiel uff de Bschriebung zue UTF-8).
[ändere] Ekschterni Syte
- Unicode Standard 4.0 Chapter 2 (PDF) General Structure. UTF-16 isch untr 2.5 Encoding Forms (S.20) definiert.
- Unicode TN12: UTF-16 for Processing
Luege au: UTF-7, UTF-8, UTF-32, Unicode, UCS