[ruby-dev:40539] Re: [Feature #2833] 絵文字エンコーディングの提案

むらたです。

On 2010/03/03, at 8:48, KOSAKI Motohiro wrote:

>> - Shift_JIS-DoCoMo
>> - Shift_JIS-KDDI
>> - ISO-2022-JP-KDDI
>> - Shift_JIS-SoftBank
> 
> この４つは直感的に理解出来るとして
> 
>> - UTF8-Google
> 
> これは普通のUTF-8とは違うもの？

違います。UTF8-Google は、DoCoMo, KDDI, SoftBank のそれぞれの
絵文字集合の和集合を持っており、現存する3者が持つすべての絵文字に
一意なコードポイントを割り当てています。以下の URL が対応表です。

http://www.unicode.org/~scherer/emoji4unicode/snapshot/full.html

この表の最初の行を見ると分かるように、UTF-8 と UTF8-Google では
「晴れ」を表す絵文字の扱いが異なります。
DoCoMo, KDDI, SoftBank 各社の「晴れ」絵文字を UTF-8 へ変換すると
U+2600 に変換されるため、元々絵文字であった事実が失われます。
UTF8-Google へ変換すると U+FE000 へ変換され絵文字である事実は
失われません。

>> - UTF8-DoCoMo
>> - UTF8-KDDI
>> - UTF8-SoftBank
> 
> この３つは、utf-8-macのように、utf-8に変換ルールヒントを加えたもの
> という理解でいいのでしょうか？

各 transcoder で絵文字のコードポイントに対して適切な変換結果を対応させています。

> ３社でPUAの使い方が違う？？

PUA が Private User Area の略だということは教えてもらったのですが、
「PUA の使い方」という言葉がよく分かっていません。
複数の使い方があるんでしょうか？

>> - stateless-ISO-2022-JP-KDDI
> 
> stateless iso-2022というのが、どういう状況で使うのか想像できないので
> 解説をお願いしていいですか？

これは内部で使われているだけなので、表に名前を出す必要はなかったですね。

現状では ISO-2022-JP <-> EUC-JP の変換が stateless-ISO-2022-JP を介した
変換で実現されています。stateless-ISO-2022-JP-KDDI は、
ISO-2022-JP-KDDI <-> UTF8-KDDI の変換でこれを真似したために存在しています。

> 第一印象としては、現実の汚さを反映してそれなりに使い方がやっかいなシロモノ
> になっているので、どこかにガイドアーティクルがあるとうれしいんじゃないかと
> 思いました。

なるほど、私もそう思います。達人出版会の出番ですね！

> # それを言ったら日本語コード変換は全般的に罠の宝庫なので「日本語コード変換HOWTO」
> # が必要だ。という気も若干してきますが、発散するので気づかなかったことに

私はなにも見ていません。

> とりあえず、Encodingクラスのリファレンスに加筆する予定の、エンコーディングの
> 説明を見せて頂けると、レビューしやすいです。
> きっと、コード本体については誰も反対しないんだろうし。

るりまの以下のページにある定数表のことですよね？
http://doc.okkez.net/192/view/class/Encoding

こんな感じかなぁ

--- Encoding::UTF8_DoCoMo
DoCoMo 携帯の絵文字を含む UTF-8 エンコーディングです。
絵文字のコード表は以下で公開されています。
[[url:http://www.nttdocomo.co.jp/service/imode/make/content/pictograph/basic/]]
[[url:http://www.nttdocomo.co.jp/service/imode/make/content/pictograph/extention/index.html]]

--- Encoding::UTF8_KDDI
KDDI 携帯の絵文字を含む UTF-8 エンコーディングです。
Web のフォームに入力された絵文字のコードにも対応しています。
絵文字のコード表は以下で公開されています。
[[url:http://www.au.kddi.com/ezfactory/tec/spec/img/typeD.pdf]]

--- Encoding::UTF8_SoftBank
SoftBank 携帯の絵文字を含む UTF-8 エンコーディングです。
絵文字のコード表は以下で公開されています (2つ目はユーザ登録が必要)。
[[url:http://creation.mb.softbank.jp/web/web_pic_about.html]]
[[url:http://www2.developers.softbankmobile.co.jp/dp/tool_dl/download.php?docid=120&companyid=]]

--- Encoding::UTF8_Google
DoCoMo, KDDI, SoftBank 各社の絵文字集合の和集合に含まれる各文字に対して一意なコードポイントを与えた UTF-8 亜種です。
各社の絵文字と Google のコードポイントとの対応関係は emoji4unicode プロジェクトの成果に基づいています。
[[url:http://code.google.com/p/emoji4unicode/]]

--- Encoding::SJIS_DoCoMo
DoCoMo 携帯の絵文字を含む Windows-31J の亜種です。
絵文字のコード表は以下で公開されています。
[[url:http://www.nttdocomo.co.jp/service/imode/make/content/pictograph/basic/]]
[[url:http://www.nttdocomo.co.jp/service/imode/make/content/pictograph/extention/index.html]]

--- Encoding::SJIS_KDDI
KDDI 携帯の絵文字を含む Windows-31J の亜種です。
絵文字のコード表は以下で公開されています。
[[url:http://www.au.kddi.com/ezfactory/tec/spec/img/typeD.pdf]]

--- Encoding::SJIS_SoftBank
SoftBank 携帯の絵文字を含む Windows-31J の亜種です。
絵文字のコード表は以下で公開されています (2つ目はユーザ登録が必要)。
[[url:http://creation.mb.softbank.jp/web/web_pic_about.html]]
[[url:http://www2.developers.softbankmobile.co.jp/dp/tool_dl/download.php?docid=120&companyid=]]

--- Encoding::ISO_2022_JP_KDDI
KDDI 携帯の絵文字を含む ISO-2022-JP の亜種です。
絵文字のコード表は以下で公開されています。
[[url:http://www.au.kddi.com/ezfactory/tec/spec/img/typeD.pdf]]



--
Kenta Murata
OpenPGP FP = FA26 35D7 4F98 3498 0810 E0D5 F213 966F E9EB 0BCC

本を書きました!!
『Ruby 逆引きレシピ』 http://www.amazon.co.jp/dp/4798119881/mrkn-22

E-mail: [e-mail]
twitter: http://twitter.com/mrkn/
blog: http://d.hatena.ne.jp/mrkn/