[ruby-dev:24696] Re: 1.8.2 preview3?

naruseです。

MoonWolf wrote:
> iconvを使って各種エンコードの正規表現を作りました。
> 以下の正規表現マッチングで、かなりの部分が拾えると思います。
> マッチングの順番が問題になるかもしれませんが(^_^;

あ、それはすでにKconv.rbに取り込みましたよ。
Iconv版はIconv_Shift_JIS、Iconv_EUC_JP、Iconv_UTF8として、
単純な版はRegexpShiftjis、RegexpEucjp、RegexpUtf8として、
Kconvに定数が定義されています。

っと、揺らいでいるので、Iconv版の定数は名前を変えます。
単純な方もKconv::Regexp::SJISとかに変えた方がいいかなぁ・・・。

Iconv版は機種依存文字を拾えなさそうなのですが、その辺はどうしましょう。
両方取り込んでおいて、Strict/Looseと分けたほうがいいですかね。

現在、Kconv#issjis、Kconv#iseuc、Kconv#isutf8が利用可能です。


>>たとえば、ブラウザから取得したデータの文字エンコーディングは、
>>フォームのあったHTMLの文字エンコーディングと、
>>ほぼ全てのブラウザで一致します。
> 
> たぶんSafariとかKonquerorとかiCabみたいなマイナーなブラウザあたりで問題
> になるくらいでしょうね。
> メジャーなブラウザでは問題はないと思います。

Safariはフォーム周りが妖しいという話は聞きませんね。
Shift_JISな時に半角チルダが全角チルダに変換される現象はありますが。

iCabはHTMLのエンコーディングに関わらず、
フォームからの文字列が無条件にShift_JISになる、
という噂を聞いたことがあります。
ただ、そもそもiCabはShift_JIS以外には対応していないとも聞いたような。

ゆいチャットの製作者のゆいさんの調査結果（2000年）
http://www.ibport.ne.jp/~yui/cgiwork/code/
を見ると、種類としては何個か一致しないものがありますが、
自動判定の誤判定の確率と比べると、
USER_AGENTをみて、別途個別に対処した方がいいように感じます。

この方針で3年CGI/Perlを配布・運用していますが、
文字化けするという報告が来たり、愚痴をみつけたりした事はありません。
とりあえずjcodeで自動判定ということをやっていたら、
半角カタカナで化けるという報告や愚痴を何度も見たはず。

-- 
NARUSE, Yui [e-mail]
DBDB A476 FDBD 9450 02CD 0EFC BCE3 C388 472E C1EA