ruby-dev

成瀬です。

Martin Duerst wrote:
>>> 追加したものがあれば教えてください。Shift_JIS と euc-jp は
>>> 準備中です。
>> 日本語ですと、最重要なのが Shift_JIS と EUC-JP で、ISO-2022-JP と CP932
>> が次点、続いて eucJP-ms、CP51932、CP5022x といったところでしょうか。
>>
>> Shift_JIS と EUC-JP、CP932 は Perl/Encode が ICU 互換の UCM 形式のデータ
>> を持っているので、それをいただくのが無難かと思います。
>> http://search.cpan.org/src/DANKOGAI/Encode-2.23/ucm/
> 
> このデータは ICU、iconv などとどのぐらい違いますか。

まず、iconv といっても主要なところで glibc iconv、GNU libiconv、Citrus
iconv 等があり、それぞれ異なっています。

ICU の変換表は以下にあるのですが、glibc-*.ucm という名前が見えるように、
glibc の変換表もありますね。
http://source.icu-project.org/repos/icu/data/trunk/charset/data/ucm/

で、たとえば Shift_JIS の場合、glibc-SJIS-2.3.3.ucm だと、
<U005C> \x5C |1
<U00A5> \x5C |0
となっています。Perl/Encode は先述のとおり、
<U005C> \x5C |0
です。

CP932 の場合ですと、Perl/Encode の変換表は windows-932-2000.ucm と等し
く、glibc-CP932-2.3.3.ucm とは延べ488個の相違があります。


>> eucJP-ms は EUC-JP の UNIX 系で用いられる亜種、CP51932 は Windows で用い
>> られる亜種です。こちらは nkf のテストで使っている UCM データがあります。
>> http://nkf.sourceforge.jp/ucm/
> 
> 「悪種」でどのぐらい悪いですか。例えば eucJP-ms は EUC-JP とどのぐらい
> 違うでしょうか。

「悪種」でなく「亜種」ですね、Subspecies とか revised version とか
another vendor's version of convertion table というべきものです。

eucJP-ms と JIS による EUC-JP の変換表の場合、0xA1BD, 0xA1C1, 0xA1C2,
0xA1DD, 0xA1F1, 0xA1F2, 0xA2CC の7文字で相違があり、NEC特殊文字、IBM拡張
文字、ユーザー定義文字 が新たに含まれています。
http://www2d.biglobe.ne.jp/~msyk/charcode/cp932/eucJP-ms.html

>> なお、現在の実装では常に一文字が一文字に対応することが前提のように見える
>> のですが、MacJapanese 等では、MacJapanese 1文字が Unicode 複数文字に対応
>> したりするので、将来 M:N 変換が可能となるように考えておくとよいかと思い
>> ます。
> 
> 現在確かにそういう制限がありますが、根本的なものではなく、割りと簡単
> に外せるものです。優先度でもうちょっと高いものもありますので、いつに
> なるのかは未だいえません。windows-1258 とかの対応にも必要です。

将来的に可能でさえあれば、1.9.1 に間に合わせる必要はないと思います。

>> どう
>> せマップテーブルから自動生成するのなら、せっかく Ruby 側がハッシュテーブ
>> ルを持っているのですから、ハッシュにしてしまうのもありかもしれません。
> 
> 現在のやら方に比べてハッシュはどのぐらいメモリを多く食うのか
> 考えたことがありませんが、多く食うのは間違いないでしょう。

最小完全ハッシュ (Minimal perfect hash) を使えば、32bit -> 32bit の変換
ですから、文字数 x 8byte + α でしょうか。

> windows-1258 見たいな限定されたユニコードの正規化は文字コード変換の
> 枠内と考えていますが、一般的な正規化は別物として考えています。

わたしが懸念しているのは、「限定されたユニコードの正規化」が必要な場面が
将来的に思ったよりも多くなるのではないかということなのですが、M:N 変換を
サポートするならばそれはそちらで対応できそうですね。

> 最終的には文字コード変換の一部に使えるようになるかと思いますが。
> 最終的にはルビプログラマから定義される文字コード変換ではハッシュ
> を使うことになるかもしれませんが、そこでもハッシュの場合文字列の
> prefix を扱うのが難しいという問題があります。

文字列の prefix ってなんでしょう？


-- 
NARUSE, Yui  <naruse@airemix.com>
DBDB A476 FDBD 9450 02CD 0EFC BCE3 C388 472E C1EA

Thread

Prev Next

In This Thread

Prev Next

[#32429] eval("\"\xfd".force_encoding("utf-8")) generages garbage in error message. — Tanaka Akira <akr@...>

[#32430] "wrong number of arguments (6 for 2)" by def m(a, b=:b, c, d, e) — Tanaka Akira <akr@...>

[#32432] eval("a"): illegal multibyte char — Tanaka Akira <akr@...>

[#32434] signature of exit() on C++ — "KISHIMOTO, Makoto" <ksmakoto@...4u.or.jp>

[#32447] ruby 1.9 trunk NKF and KCONV Encoding:ASCII-8BIT — WATANABE Tetsuya <Tetsuya.WATANABE@...>

[#32448] SEGV on "abcd\xf0".force_encoding("utf-8").reverse — Tanaka Akira <akr@...>

[#32451] -e:1:in `conv': no implicit conversion from nil to integer (TypeError) — Tanaka Akira <akr@...>

[#32452] `split': negative string size (or size too big) (ArgumentError) — Tanaka Akira <akr@...>

[#32459] Enumerator raises `dead fiber called' — "Yusuke ENDOH" <mame@...>

[#32462] SEGV by test/ruby/test_fiber.rb — Tanaka Akira <akr@...>

[#32468] Iconv.list patch for NetBSD/Citrus — "NARUSE, Yui" <naruse@...>

[#32473] about to_path and to_open — "Yusuke ENDOH" <mame@...>

[#32475] ext/tk/sample/tkextlib/vu/canvSticker2.rb — Tanaka Akira <akr@...>

[#32485] self-calling method dumps core — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32493] Regexp#names, MatchData#names, MatchData#regexp — Tanaka Akira <akr@...>

[#32498] Re: [ruby-cvs:21399] Ruby:r14162 (trunk): * parse.y (expr): redefinable not (!) operator. — SASADA Koichi <ko1@...>

[#32502] :!@.inspect — Kazuhiro NISHIYAMA <zn@...>

[#32509] ruby-core:13961での問題(Error while bulding Ruby 1.9 from snapshot 2007/12/09) — KIMURA Koichi <kimura.koichi@...>

[#32512] Re: [ruby-cvs:21409] Ruby:r14172 (trunk): * transcode.c: new file to provide encoding conversion features. — Nobuyoshi Nakada <nobu@...>

[#32514] typo in lib/uri/common.rb — Ueda Satoshi <s-ueda@...>

[#32518] bug in Array#slice! — Satoshi Nakagawa <snakagawa@...>

[#32531] eigenmethod definition for BasicObjects dumps core — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32536] timezone 関数が cygwin で見つかりません — Martin Duerst <duerst@...>

[#32550] Binary String — Hidetoshi NAGAI <nagai@...>

[#32556] default completion for irb1.9 — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32563] transcoder loading — Nobuyoshi Nakada <nobu@...>

[#32565] Re: [ruby-cvs:21436] Ruby:r14199 (trunk): * io.c (rb_io_check_readable): set default external encoding to — Tanaka Akira <akr@...>

[#32566] hang with write — Tanaka Akira <akr@...>

[#32567] [nil, [...]] — Tanaka Akira <akr@...>

[#32569] Re: [ruby-cvs:21441] Ruby:r14204 (trunk): * io.c (rb_io_getc): use default external encoding if fptr->enc is — Tanaka Akira <akr@...>

[#32581] expandarray may mark dirty VALUE beyond stack — "Yusuke ENDOH" <mame@...>

[#32585] SEGV by IO.pipe — Tanaka Akira <akr@...>

[#32588] /(?<foo>...)/ =~ str assigns foo — Tanaka Akira <akr@...>

[#32590] Circular dependency on AIX — "Yutaka Kanemoto" <kinpoco@...>

[#32604] stack overflow by GC in a thread — Tanaka Akira <akr@...>

[#32606] encoding loading — Nobuyoshi Nakada <nobu@...>

[#32608] $! == 8 — Tanaka Akira <akr@...>

[#32609] Re: [ruby-cvs:21475] Ruby:r14238 (trunk): * configure.in (enc/Makefile): add external encoding objects list. — Yukihiro Matsumoto <matz@...>

[#32610] 1.9.1 issues left (as of 12/15) — Yukihiro Matsumoto <matz@...>

[#32622] binding of caller — Nobuyoshi Nakada <nobu@...>

[#32624] rss and base64 — Tanaka Akira <akr@...>

[#32625] Re: [ruby-cvs:21528] Ruby:r14292 (trunk): more tests. — Yukihiro Matsumoto <matz@...>

[#32628] Bignum#to_s doesn't check base — "Yusuke ENDOH" <mame@...>

[#32629] faster Bignum#* — "Yusuke ENDOH" <mame@...>

[#32631] Cygwin 上で Ruby最新版 をインストールする場合 — "Koji Tominaga" <crimsonshower@...>

[#32636] Re: [ruby-cvs:21552] Ruby:r14315 (trunk): * ext/nkf/nkf.c (NKF::_ENCODING): removed. — Tanaka Akira <akr@...>

[#32640] inspect closed dir. — Tanaka Akira <akr@...>

[#32641] interrupt in * — Tanaka Akira <akr@...>

[#32644] unparenthesized method call with block — "Yusuke ENDOH" <mame@...>

[#32645] unparenthesized method call with block — "Yusuke ENDOH" <mame@...>

[#32662] encode! は変換しないときに <nil> になってしまう。 — Martin Duerst <duerst@...>

[#32665] Net::POP3#enable_sslの仕様変更 — Shugo Maeda <shugo@...>

[#32668] syntax errors on ext/tk/sample — "U.Nakamura" <usa@...>

[#32675] /(?<break>a)/ =~ "a" 等によるローカル変数 — "Keita Yamaguchi" <keita.yamaguchi@...>

[#32677] nil.freeze in date.rb — Shugo Maeda <shugo@...>

[#32680] fail to compile version.c in trunk — Masaki Suketa <masaki.suketa@...>

[#32685] test/webrick/test_server.rb hang — Tanaka Akira <akr@...>

[#32686] enum_inject の説明文 — "Keita Yamaguchi" <keita.yamaguchi@...>

[#32687] Re: [ruby-cvs:21753] Ruby:r14516 (trunk): * lib/time.rb (Time.httpdate): use Time.utc for — Tadayoshi Funaba <tadf@...>

[#32691] Why only inject() accepts :symbols as if it's a Proc in Enumerable? — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32693] String#== is not transitive — Tanaka Akira <akr@...>

[#32695] ISO-2022-JP output for transcode — "NARUSE, Yui" <naruse@...>

[#32699] cygwin 上で r14576 現在の test の失敗 — Martin Duerst <duerst@...>

[#32706] Fwd: RDoc: [FATAL] failed to allocate memory — Martin Duerst <duerst@...>

[#32708] Enumerable can't take multiple parameters — GOTOU Yuuzou <gotoyuzo@...>

[#32709] Re: [ruby-cvs:21826] Ruby:r14589 (trunk): Mon Dec 24 17:20:34 2007 NAKAMURA, Hiroshi <nahi@ruby-lang.org> — Tadayoshi Funaba <tadf@...>

[#32710] \e — "U.Nakamura" <usa@...>

[#32713] pre-release note for the christmas release. — Yukihiro Matsumoto <matz@...>

[#32715] issues left as of 12/25 2:00am JST — Yukihiro Matsumoto <matz@...>

[#32718] next dumps core when poped is 0 — "Yusuke ENDOH" <mame@...>

[#32725] more ANSI'ize — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32726] Can't build on MacOSX 10.4(Tiger) (was Re: Re: 1.9.1 issues left (as of 12/15)) — "MOROHASHI Kyosuke" <moronatural@...>

[#32740] distinguish "w" and "w:euc-jp" — Tanaka Akira <akr@...>

[#32746] appendline Invalid read of size 1 — Tanaka Akira <akr@...>

[#32747] test-all on Debian/GNU etch — SASADA Koichi <ko1@...>

[#32748] resut of make test on cygwin — SASADA Koichi <ko1@...>

[#32756] make rdoc cause segv on OpenBSD — SASADA Koichi <ko1@...>

[#32763] Re: [ruby-cvs:21913] Ruby:r14676 (trunk): * trunk/common.mk, goruby.c, golf_prelude.rb: for golfers. — Yukihiro Matsumoto <matz@...>

[#32765] test/ruby/test_transcode.rb の問題 — Martin Duerst <duerst@...>

[#32767] result of test-all on FreeBSD 6.2 — SASADA Koichi <ko1@...>

[#32631] Cygwin 上で Ruby最新版をインストールする場合 — "Koji Tominaga" <crimsonshower@...>