ruby-dev

naruseです。

堀川 久 wrote:
>>IBM拡張文字が変換の過程でNEC選定IBM特殊漢字になる問題は、
>>Shift_JISに戻す際に--cp932invオプションを付ければ抑止できます。
>>この動作をデフォルトにしようとも考えましたが、
>>とりあえずそのままにしておきました。
> 
> WindowsでもLinuxでも実機で確認していないのですが、Windows（cp932）で
> はIBMの方へ変換するようです。
> http://support.microsoft.com/default.aspx?scid=kb;ja;170559
> 
> NEC選定のほうへ変換する流儀もあるのかしら。

nkfの場合は流儀とかでなく、普通に実装したらこうなったという感じです。

nkfはJIS系からUnicode系への変換はEUCとUnicodeの変換テーブルを使います。
よって、
Shift_JIS(fa40)→EUC(fcf1)→Unicode(2170)→EUC(fcf1)→Shift_JIS(eeef)
という手順になっているわけです。

で、本来Shift_JISとEUCのマッピングは
Shift_JIS(eeef)とEUC(fcf1) で行われているんです。
これはテーブルでなく、
大元の区点コードに対する、Shift_JISとEUC-JPのマッピングを元に、
単純な計算式から求められています。
この計算式を使うとEUC(fcf1)→Shift_JIS(eeef)になるので、
そのままになっていると。
＃NetBSD+Rubyな手元のIconvもこのような動作です

よって、これをShift_JIS(fa40)にするには個別に置換する必要があり、
この置換処理がデフォルトでOFFになっています。
で、これをオンにするオプションが--cp932invであると。

ちなみに、そもそもの最初の Shift_JIS(fa40)→EUC(fcf1)
という変換も特殊なもので、個別にテーブルで行っています。
これはデフォルトでONになっており、
抑止するためのオプションが--nocp932です。

なので、eeefに変換されるほうが実装としては自然になるわけです。
けれどもCP932ではfa40になるのですね。
--cp932invをデフォルトにONにして、--nocp932で抑止するようにしますかね？

‘自然な実装’やIconvに合わせるか、CP932に合わせるかについて、、
わたし自身は特に意見を持たないのでそのままにしておいたのですけれど。


>>* MicrosoftのUCSマッピングに絡む問題
> 
> これはどの文字の件でしょうか。

http://www.miraclelinux.com/technet/samba30/iconv_issues.html
で指摘されている
〜 0x8160、‖ 0x8161、− 0x817C
¢ 0x8191、£ 0x8192、¬ 0x81CA
の6文字の件です。
--ms-ucs-mapを指定すると、CP932互換のマッピングを行うようにしました。


＃＃＃

標準ライブラリのメンテナを確定する作業に入るのかな・・・。
iconvやjcodeあたりならメンテナやりますよ〜（っと、とりあえずひっそり

-- 
NARUSE, Yui  <naruse@airemix.com>
DBDB A476 FDBD 9450 02CD 0EFC BCE3 C388 472E C1EA

Thread

Prev Next

In This Thread

Prev Next