[ruby-list:34379] Re: 多種多様の文字コードに対応するには？

坂野 正明です。

At Wed, 13 Mar 2002 10:28:54 +0900,
<[e-mail]> wrote:
>> 私は、昨年PHP3.0.xxを始めて覚えて文字コードという問題にぶち当たりました。
>> PHPは文字コードに対する処理が充実していて初心者にぴったりだと思いました。
>> 入力部
>> 内部処理部
>> 出力部
>> をあらかじめ指定して置けば、厳格に処理されていきます。
>> 
>> 例えば、
>> 入力部      AUTO
>> 内部処理部  EUC
>> 出力部      SJIS
>> などしておけば、何も考えずにiモードなどに対応できます。

PHP のことは全然知りませんが…、入力部AUTOで厳格に処理されるなんて
原理的にあり得ないと思いますが?
なにせEUCとSJISって、自動判別は一般論としては不可能ですから。

# 入力文字列が十分長ければ、いくつか方法があるので、ライブラリなどが
# 頑張れます --- 実効的には何とかなるかも。

>> こういう多種多様な文字コードを一元的に扱えるライブラリがRubyの標準で存在して
>> いれば、悩まないですむと思います。
TAKAHASHI> えーと、そういう問題だけでもないような。

文字コードの最も難しい点は、本質的に一元的に扱えない、という点に
ある、と思っています。文字の概念すら一元的ではないとも言えますから。
# 加えてしばしばじゃあくなコードが存在し… (^^;


日本語(とUSアスキーと)だけなら、
Ruby なら、 NKF を通すことによって、上のPHPと同じようなことが
できる…んですよね、きっと (私自身はRubyで日本語処理をしたことがない
もので存じません _o_)。
# 短い文字列(単位)の場合は工夫が必要だったりします?

TAKAHASHI> とはいえ、UTF-8にも対応できるnkfみたいなもの、というものの
TAKAHASHI> 需要はそれなりにありそうですね。

日本語で(もUSアスキーでも)ない文字をどう扱うかが問題になるかも
知れませんが…、それを置いておいて、あれば嬉しいでしょうね。

さかのまさあき