Babylonisches Sprachverwirrung

oder

Warum erhalte ich kryptische Zeichen, wenn ich Benutzereingabe in einer Datenbank speichere

Gliederung

Geschichte der Zeichencodierung
Begriffe
Codierung im Web
Codierung in Datenbanken
In der Praxis

Geschichte

Die Zeit vor dem Computer

Lichtzeichen - bereits bekannt bei der Invasion Trojas [1]
Rauchzeichen - Indianer in Nordamerika
Trommelzeichen - Afrika
Signalflaggen - 1648 König James II
Morsecode - 1837 Alfred Brain
5er-Code-Alphabet, 1870 Baudot-Code

Geschichte

Computerzeitalter

Binäre Zeichencodierung in Bit-Folgen [1]
Übersetzungstabellen, sog. Charsets
1963 erste 7-Bit-Version des ASCII-Codes durch die ASA
1964 8-Bit-Code EBCDIC von IBM
ISO 8859 für europäische Sprachen und Thai
1991 erste Fassung des Unicode (ISO 10646)

Unicode

Was ist Unicode

Digitaler Code für alle sinntragenden Schriftzeichen und Textelemente aller bekannten Schriftkulturen [2]
Häufigste Form UTF-8
Unicodeunterstützung in HTML un XML -  oder 
named entities (&uero; oder ¨ nur in HTML)

UTF-8

Unicode durch die Lupe

Pro Zeichen Bytekette variabler Länge
UTF-8 bis zu 4 Byte lang

Unicode-Bereich	UTF-8-Kodierung	Bemerkungen	Möglichkeiten (theoretisch)
0000 0000 – 0000 007F	0xxxxxxx	In diesem Bereich (128 Zeichen) entspricht UTF-8 genau dem ASCII-Code: Das höchste Bit ist 0, die restliche 7-Bit-Kombination ist das ASCII-Zeichen.	2⁷	128
0000 0080 – 0000 07FF	110xxxxx 10xxxxxx	Das erste Byte enthält binär 11xxxxxx, die folgenden Bytes 10xxxxxx; die x stehen für die fortlaufende Bitkombination des Unicode-Zeichens. Die Anzahl der Einsen vor der höchsten 0 im ersten Byte ist die Anzahl der Bytes für das Zeichen. (In Klammern jeweils die theoretisch maximal möglichen.)	2¹¹ − 2⁷ (2¹¹)	1920 (2048)
0000 0800 – 0000 FFFF	1110xxxx 10xxxxxx 10xxxxxx		2¹⁶ − 2¹¹ (2¹⁶)	63.488 (65.536)
0001 0000 – 0010 FFFF [0001 0000 – 001F FFFF]	11110xxx 10xxxxxx 10xxxxxx 10xxxxxx		2²⁰ (2²¹)	1.048.576 (2.097.152)

[3]

Signs

Beispiele für UTF-8 Kodierungen
Zeichen	Unicode	Unicode binär	UTF-8 binär	UTF-8 hexadezimal	Darstellung bei eingestelltem ISO-8859-1-Encoding
Buchstabe y	U+0079	00000000 01111001	01111001	0x79	y
Buchstabe ä	U+00E4	00000000 11100100	11000011 10100100	0xC3 0xA4	Ã¤
Zeichen für eingetragene Marke ®	U+00AE	00000000 10101110	11000010 10101110	0xC2 0xAE	Â®
Eurozeichen €	U+20AC	00100000 10101100	11100010 10000010 10101100	0xE2 0x82 0xAC	â�¬
Violinschlüssel 𝄞	U+1D11E	00000001 11010001 00011110	11110000 10011101 10000100 10011110	0xF0 0x9D 0x84 0x9E	ð��

[4]

Im Web

DB - Webserver - Browser

Eigene Codierung für Verbindung Webserver - Browser
Eigene Codierung für Verbindung Webserver -Datenbank
Unterschiedliche Codierungen erzeugen Zeichensalat

Im Web

Der Browser

Zeichenvorrat (character repertoire) - Menge der zur Verfügung stehende Zeichen [5]
Zeichensatz (charset)- Nummerierung der Zeichen
Zeichenkodierung (character encoding) - Zuordnung Bitmuster zu Zeichen

Im Web

Festlegung der Kodierung

Browser verwendet Standardcodierung
Kodierung im Dokument in http-equiv Glücksspiel
W3C verlangt Zeichencodierung im Header - Content-Type: text/html; charset=utf-8 [6]

Konfiguration im Webserver, z.B. AddDefaultCharset
Explizite Header, z.B. header('Content-Type: text/html; charset=utf-8')

Bei Verwendung von UTF-8 Unicode-fähiger Editor

Im Web

Webservercodierung [6]

AddCharset oder AddType (ab Apache1.3.10)
AddDefaultCharset (ab Apache 1.3.12)
über .htaccess

Im Web

Dokumenttyp

Zeichencodierung ist "Brille", wie Zeichen zu interpretieren sind
Dokumente in der gleichen Codierung speichern wie Charset in Webserver

Datenbanken [7]

Konfigvariablen

character_set_server
collation_server
character_set_database
collation_database
character_set_client
character_set_connection
collation_connection
character_set_results

Charset

Zeichenkodierung [8]

character_set_* - Zeichensatz, mit dem gearbeitet wird
character_set_server - Standardzeichensatz des Servers
character_set_database - Zeichensatz der Standarddatenbank.
character_set_client - Zeichensatz für vom Client kommende Anweisungen
character_set_connection - für Literale ohne Zeichensatz, Umwandlung von Zahlen in Strings
character_set_system - Zeichensatz für Speicherung von Bezeichnern; immer utf8
character_sets_dir - Verzeichnis mit Zeichensätzen

Collation

Sortierung [9]

Jeder Charset hat eine Default Sortierung; mehrere Sortierungen möglich

		mysql> SHOW CHARACTER SET;
		+----------+-----------------------------+---------------------+--------+
		| Charset  | Description                 | Default collation   | Maxlen |
		+----------+-----------------------------+---------------------+--------+
		| big5     | Big5 Traditional Chinese    | big5_chinese_ci     |      2 |
		| dec8     | DEC West European           | dec8_swedish_ci     |      1 |
		| cp850    | DOS West European           | cp850_general_ci    |      1 |
		| hp8      | HP West European            | hp8_english_ci      |      1 |
		| koi8r    | KOI8-R Relcom Russian       | koi8r_general_ci    |      1 |
		| latin1   | cp1252 West European        | latin1_swedish_ci   |      1 |



		mysql> SHOW COLLATION LIKE 'latin1%';
		+---------------------+---------+----+---------+----------+---------+
		| Collation           | Charset | Id | Default | Compiled | Sortlen |
		+---------------------+---------+----+---------+----------+---------+
		| latin1_german1_ci   | latin1  |  5 |         |          |       0 |
		| latin1_swedish_ci   | latin1  |  8 | Yes     | Yes      |       1 |
		| latin1_danish_ci    | latin1  | 15 |         |          |       0 |
		| latin1_german2_ci   | latin1  | 31 |         | Yes      |       2 |
		| latin1_bin          | latin1  | 47 |         | Yes      |       1 |

Konventionen

latin1_swedish_ci

latin1 - Name des verknüpften Zeichensatzes
swedish - Sprache
_ci - Keine Unterscheidung von Gross/Kleinschreibung
_cs - Unterscheidung von Gross/Kleinschreibung
_bin - Binärsortierung

Umwandlung

Transkodierungen [10]

SELECT CONVERT(_latin1'Müller' USING utf8);
INSERT INTO utf8table (utf8column) SELECT CONVERT(latin1field USING utf8) FROM latin1table;
SELECT CAST(_latin1'test' AS CHAR CHARACTER SET utf8);

Unicodeunterstützung im MySQL

ucs2 vs. utf8

ucs2 - Jedes Zeichen 2 Byte lang; clientseitig nicht möglich
utf8 - 1 - 3 Byte; 4 Byte nicht unterstützt

Codierung in Tabellen

 CREATE TABLE `kelvin`.`utf8_test` (
`feld1` VARCHAR( 1 ) CHARACTER SET ascii COLLATE ascii_general_ci NOT NULL ,
`feld2` VARCHAR( 1 ) CHARACTER SET latin1 COLLATE latin1_german1_ci NOT NULL ,
`feld3` VARCHAR( 1 ) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL
) ENGINE = MYISAM CHARACTER SET ucs2 COLLATE ucs2_bin

Die Praxis

Testszenario - Gästebuch

Server schickt Formular an Browser
Browser schickt Formulardaten zurück an Server
Server schickt Daten an Datenbank
Datenbank schickt Daten zurück an Server
Ausgabe an Browser

Server

Codierung festlegen

HTTP/1.x 200 OK
Date: Fri, 05 Dec 2008 08:49:07 GMT
Server: Apache/2.2.8 (Ubuntu) PHP/5.2.4-2ubuntu5.3 with Suhosin-Patch
Last-Modified: Thu, 04 Dec 2008 16:29:48 GMT
Etag: "2d33-3054-45d3b11af5700"
Accept-Ranges: bytes
Content-Length: 12372
Keep-Alive: timeout=15, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=UTF-8

Browser sendet

Zeichensatz

Zeichencodierung angeben, mit der Browser Daten sendet
accept-charset - kommagetrente Liste erlaubter charsets
Browser arbeiten unterschiedlich - nur ein charset angeben
<form acion="index.php" method="post" accept-charset="utf-8">
charset identisch mit charset in HTTP-Header

An die Datenbank

Encoding zw. Server und Datenbank [11]

Connection encoding - SET NAMES 'UTF-8'
Client versendet SQL-Anweisungen im Zeichensatz UTF-8
Ergebnisse werden in UTF-8 zurückgesendet

  Gleichbedeutend mit folgenden Anweisungen

  SET character_set_client = UTF-8;
  SET character_set_results = UTF-8;
  SET character_set_connection = UTF-8;

An die Datenbank - 2

Alternativ

Connection encoding - SET CHARACTER SET UTF-8
Zeichensatz und Sortierreihenfolge auf Datenbank

   Gleichbedeutend mit folgenden Anweisungen

   SET character_set_client = x;
   SET character_set_results = x;
   SET collation_connection = @@collation_database;

Umwandlung mit PHP

Nach UTF8

utf8_encode - Codiert ISO-8859-1 nach UTF-8
Überprüfung auf UTF8 vor Codierung
Doppelte Codierung erzeugt Zeichensalat

Umwandlung mit PHP

und umgekehrt

utf8_decode - Codiert UTF-8 nach ISO-8859-1
iconv - UNIX-iconv von beliebig nach beliebig
mbstring - "Zauberstab", überschreibt viele PHP-String-Funktionen per default nicht in PHP enthalten; Unstabil ?!? [12]

Babylonische Sprachverwirrung - download unter http://www.spengler-inter.net/downloads/codierung.tar.gz

10. Dez 2008 - Anton Spengler, PHP UG Stuttgart

Babylonisches Sprachverwirrung

oder

Warum erhalte ich kryptische Zeichen, wenn ich Benutzereingabe in einer Datenbank speichere

Gliederung

Geschichte

Die Zeit vor dem Computer

Geschichte

Computerzeitalter

Unicode

Was ist Unicode

UTF-8

Unicode durch die Lupe

Signs

Im Web

DB - Webserver - Browser

Im Web

Der Browser

Im Web

Festlegung der Kodierung

Im Web

Webservercodierung [6]

Im Web

Dokumenttyp

Datenbanken [7]

Konfigvariablen

Charset

Zeichenkodierung [8]

Collation

Sortierung [9]

Konventionen

latin1_swedish_ci

Umwandlung

Transkodierungen [10]

Unicodeunterstützung im MySQL

ucs2 vs. utf8

Codierung in Tabellen

Die Praxis

Testszenario - Gästebuch

Server

Codierung festlegen

Browser sendet

Zeichensatz

An die Datenbank

Encoding zw. Server und Datenbank [11]

An die Datenbank - 2

Alternativ

Umwandlung mit PHP

Nach UTF8

Umwandlung mit PHP

und umgekehrt

Literaturliste