ユニコードの仕組みと文字コード標準の歴史的背景

Unicode（ユニコード）とは、ユニコードコンソーシアムによって定められた、世界中の文字を統一された体系で扱うための文字コードの標準規格です。名称にある「Uni」が示す通り、各国のバラバラな文字集合を単一の大規模な文字セットに統合することを目的として策定されました。

歴史的背景と策定の経緯

従来、コンピュータの世界では各国の標準化団体やメーカーが独自に文字コードを開発していました。そのため異なる文字コード間には互換性がなく、文字化けや情報の欠落が頻発していました。こうした課題を解決するため、1980年代にゼロックス社が提唱し、マイクロソフト、Apple、IBMをはじめとする主要なIT企業が参加するユニコードコンソーシアムが設立されました。

また、国際規格であるISO/IEC 10646とUnicode規格は、同じ文字コード表を維持できるように協調して策定が進められています。

文字集合と符号空間

Unicodeの符号空間は 0 から 10FFFF₁₆ までであり、合計で111万4,112個の符号位置（コードポイント）が定義されています。個々の文字を特定する際には、U+0061 や U+266A のように「U+」の後に十六進法の数値を続けて表します。

初期の構想では16ビット固定長（6万5,536文字）として計画されていましたが、世界中の多様な言語や漢字、古文字などの追加要求に対応しきれなくなり、後に符号空間が拡張されました。

文字符号化形式と文字符号化方式

Unicodeでは、文字をどのようにバイト列に変換するかを規定するために、複数の文字符号化形式および文字符号化方式が定められています。

• UTF-8: 1符号化文字を1〜4バイトの可変長で表現する形式。ウェブや電子メールなど現代のインターネット環境で広く採用されています。
• UTF-16: 基本多言語面を16ビットの符号単位1つで表し、その他の文字をサロゲートペア（代用対）と呼ばれる2つの符号単位で表現する形式です。
• UTF-32: すべての文字を32ビットの固定長で表現する形式です。

また、入出力時のエンディアン（バイト順序）を明示するための方式や、BOM（Byte Order Mark）の付与ルールなども詳細に規定されています。