UnicodeとUTF-8の違い。UTF-8・UTF-16・UTF-32とは

インターネットが世界中で普及している現代では、世界中のコンピュータが相互にデータを授受できるように、文字コードの統一が必須です。

そこで，考案されたのがUnicode（ユニコード）と呼ばれるコード体系です。

UnicodeはISO（国際標準化機構）規格となり、国際的に認められています。

文字コードに関する記事はこちら

文字コードとは？コンピュータの文字コードの種類

文字コードとは？コンピュータの文字コードの種類 私たち人間は、 数字（10進数：0 〜 9） 文字 平仮名（あ 〜 ん） 片仮名（ア 〜 ン） 漢字 アルファベット（A ~ Z） 音 色 等々 を認識出来ますが、コンピュータは 数字（10進...

elite-lane.com

2019.02.13

この記事では

• Unicode
• UTF-8・UTF-16・UTF-32の違い

それぞれ説明していきます。

Unicode

Unicodeとは、世界中の文字を扱えるようにしたISO（国際標準化機構）規格の文字集合の事を指します。

文字集合とは、

• コンピュータが認識出来る文字の範囲の事
• 文字コードを区別する2段階の一つ

です。

文字コードは

• 符号化文字集合（character set）
• 符号化方式（character encording scheme）

と2段階に区別する事が出来ます。

Unicode以外の文字集合には

• JIS・・・平仮名・カタカナ・漢字、ラテン基本文字、記号　等々
• KS・・・ハングル文字、ラテン基本文字、記号　等々

があります。

文字集合では、それぞれの文字に対応したビット値があります。

文字集合の文字に対応したビット値は、符号位置（コードポイント）と呼ばれています。

符号位置（コードポイント）は、

• 文字集合を構成する文字を並べて順番に振った数値
• あくまで、その文字の文字集合内での位置

であり、符号化方式とは別物です。

Unicodeの符号位置（コードポイント）の一例です。

同じ文字でも文字集合が違えば、符号位置（コードポイント）も違います。

Unicodeの符号位置（コードポイント）は、

• 面・・・8 bitのデータ幅
• 区・・・8 bitのデータ幅
• 点・・・8 bitのデータ幅

合計24bitのデータ幅を利用しています。

UTF-8・UTF-16・UTF-32の違い

• UTF-8
• UTF-16
• UTF-32

とは、文字集合であるUnicodeから符号化（エンコーディング：Encoding）する符号化方式の種類です。

符号化方式（Character Encoding Scheme、CES）とは、文字集合の符号位置（コードポイント）を、実際にコンピュータが利用できるデータ列（通常、バイト列）に変換し符号化（エンコーディング：Encoding）する方式の事を指します。

Unicodeの符号位置（コードポイント）「U+0000～U+10FFFF」（16進数表記）から

• 8 bit単位
• 16 bit単位
• 32 bit単位

で符号化した符号化方式が

• UTF-8
• UTF-16
• UTF-32

になります。

例えば、UnicodeをUTF-8で符号化（エンコーディング：Encoding）する場合、

1. 符号化文字集合内の符号位置（コードポイント）【U+3042】を
2. UTF-8という符号化方式で符号化（エンコーディング：Encoding）して
3. 【0xE38182】というバイト列に変換

コンピュータが利用できるデータ列に変換します。

符号化文字集合と符号化方式の関係は以下の図のようになっています。

UTF-8

UTF-8（Unicode Encoding Forms 8）は、符号位置（コードポイント）の値によって長さが1 ～ 4bytesに変化する可変長の符号化方式です。

UTF-8の特徴は

• 最も頻繁に使われる（U+0000 ～ U+007F）の文字（ASCII文字／半角英数字）は1byteに収まり、コード効率が高い
• ラテン圏でよく使われる文字範囲（U+0080 ～ U+07FF）は2bytesで済み、コード効率が良い
• 基本的な漢字はほぼ基本多言語面（BMP）（U+0000 ～ U+FFFF）に収容されており、ほとんどの日本語文字は3bytes

例えば、16bitの符号位置（コードポイント）は、

• 4bit
• 6bit
• 6bit

の3つに分解し、3bytesのデータに変換されます。

UTF-16

UTF-8は

• ファイルへの保存や通信等では便利
• メモリの利用効率も高い

ですが、1byte単位の可変長データなのでプログラムから操作するには不便です。

そこで、固定長データとして符号化する

• UTF-16
• UTF-32

の符号化方式が用意されました。

UTF-16は

• Unicodeの符号位置（コードポイント）を16bitで表現する方式
• U+0000 ～ U+FFFFの範囲ならそのまま16bitデータとして格納
• U+10000 ～ U+10FFFFの符号位置（コードポイント）はサロゲートペアを使って表現

という特徴を持つ符号化方式です。

サロゲートペア

サロゲートペア（surrogate pair:代用対）とは、Unicodeに第1面（SMP）以降を追加したときに導入された新しい符号化方法です。

16bit幅の符号位置（コードポイント）を2つ使い、U+10000 ～ の文字を表現します。

当初のUnicodeは、

• 符号位置符号位置（コードポイント）を全て16bitで表現
• 1文字当たり16bit幅の変数が1つあればUnicodeの符号位置（コードポイント）を収容

していましたが、U+10000 ～ の符号位置（コードポイント）ではこれは不可能です。

そこで、16bit × 2 ペアで全ての符号位置（コードポイント）を扱う方法(サロゲートペア)が考案されました。

基本多言語面（BMP）の未使用領域にあった符号位置（コードポイント）の内、

• U+D800 ～ U+DBFF（1024文字分）
• U+DC00 ～ U+DFFF（1024文字分）

これらのペアを使って、1024 × 1024 ＝ 約100万文字分のコード領域を確保し、これを U+10000 ～ U+10FFFFに割り当てました。

サロゲートペアへの変換は、

1. 符号位置（コードポイント）からU+10000を減算
2. 20bitの数値に変換
3. それを上下10bitずつに分割
4. それぞれの値に
   • U+D800
   • U+DC00

   を加算

という手順を踏みます。

UTF-32

UTF-32は、サロゲートペアを使わずに、常に32bitでUnicodeの符号位置（コードポイント）を表現する符号化方式です。

基本多言語面（BMP）以外のUnicodeの符号位置（コードポイント）が使われることは非常に少ないため、実際にはほとんどの場合は上位 16bitがゼロになり、メモリの利用効率はあまり良くありません。

エンディアン

UTF-16やUTF-32では、2bytes（16bit）もしくは4bytes（32bit）で1つの文字コードを表現しています。

このようなデータをメモリ上に格納したり、ファイルに保存したりする場合は、その「バイトオーダー（エンディアン）」属性について考慮する必要があります。

Unicodeで符号化されていることおよび符号化の種類の判別の為に、BOM（Byte Order Mark）が使用されます。

BOMは、Unicodeの符号化形式で符号化したテキストの先頭につける数バイトのデータのです。。

• ビッグエンディアン（BE）・・・データの最上位バイトから順に格納する方式
• リトルエンディアン（LE）・・・データの最下位バイトから順に格納する方式

「U+29E49」というUnicodeの符号位置（コードポイント）を、

• UTF-32 ビッグエンディアン（BE）でメモリに格納すると「00 02 9E 49」という順
• UTF-32 リトルエンディアン（LE）だと「49 9E 02 00」という順

になります。

UTF-8・UTF-16・UTF-32

• UTF-8
• UTF-16
• UTF-32

の違いは、Unicodeという符号化文字集合の中の符号位置（コードポイント）からビット列からコンピュータが認識出来るバイト列へ変換する符号化方式にあります。

以上が、

• Unicode
• UTF-8・UTF-16・UTF-32の違い

それぞれの説明になります。