ruby-dev

成瀬さん、こんにちは。

At 15:30 07/12/24, NARUSE, Yui wrote:
>成瀬です。
>
>ISO-2022-JP の入力を加えたパッチです。これもまだすべて transcode.c に
>つっこんでいます。
>
>Martin Duerst wrote:
>> At 13:04 07/12/24, Nobuyoshi Nakada wrote:
>>> At Mon, 24 Dec 2007 10:10:28 +0900,
>>> NARUSE, Yui wrote in [ruby-dev:32695]:
>>>> transcode を ISO-2022-JP の出力に対応させるパッチを書いてみました。同様
>>>> に preprocessor で入力にも対応できますし、ISO-2022-JP 以外の ISO/IEC
>>>> 2022 シリーズにも対応できるようになっています。
>>> できれば、transcode_data_japanese.cのほうにお願いしたいです。
>> 
>> これは自動的に作成しているので、余り好ましくないです。でも
>> (下のようにたいてありますように) 未だ変更する予定なので、
>> こちらでもいいです。
>
>transcode_data_japanese.c は自動生成な気がした

まさにそうです。

>のと、transcode.c の構造体
>に依存しているので、下手に分けずにとりあえず transcode.c に入れておきま
>した。
>transcoding と transcoder を transcode_data.h いれればいいのですかね。作
>業しつつとりあえずこの状態で投稿しておきます。

以前に中田さんに書きましたが、transcode_data.h はデータファイル
と transcode.c の間のものだけです。将来にはこれと別途に transcode.h
を作る予定です。

>>>> とりあえずクリ
>>>> スマスリリースに入れる程度の品質は出ると思いますがいかがでしょう。
>> 
>> リリースにいれていいですが、明日とか明後日当たりで HEAD でまだ取り出し、
>> 違う方針でよかったらいいですよ。
>
>とりあえず 1.9.1 でも ISO-2022-JP が動いてほしかったからなので、それで結
>構です。
>
>>>  # transcode_data_one_byte.cという名前はわかりにくいので、
>>>  # japanese.cと同じ伝でいえばeuropean.cかなぁと思ったりしますが。
>> 
>> こちらでもそう思いましたが、iso-8859-6 はアラビア語で、iso-8859-8
>> はヘブライ語で、iso-8859-11 はタイ語で、どちらともヨーロッパと
>> 縁が薄いです。しばらくそのままいいではないでしょうか。
>
>iso_8859.c じゃないかなぁと。

以前は transcode_data_iso_8859.c でしたが、将来に例えば
windows-... とか追加する予定なので、名前を変えました。

>>> * MAX_TRANSCODERSの制限をなくす
>>>  # というか、このパッチだとオーバーしてませんか?
>> 
>> 外してもいいですが、余り大きな変更はしない方がいいと思います。
>
>オーバーしていますね。

一番簡単なのは MAX_TRANSCODERS を合わせすということです。
手作業なのでちょっとこわいけど。

>>> * transcode_data_*.cを拡張ライブラリ形式にする。
>>>  必要な構造体とプロトタイプをヘッダに入れて、各transcoderでは
>>>  Init関数を追加することになります。
>> 
>> こちらでは次のように考えました:
>> - transcoder の登録を transcode.c に残す。
>> - 登録の際、ファイル名も登録する。
>>   (例:
>>        register_transcoder("ISO-8859-1",  "UTF-8", &rb_from_ISO_8859_1, 2, 0);
>>    の変わり
>>        register_transcoder("ISO-8859-1",  "UTF-8", &rb_from_ISO_8859_1, 
>2, 0, "transcode_data_one_byte");
>> - transcoder が呼ばれたら、データのファイルをロードする。
>
>一応参考までに他の実装ですが、
>Citrus iconv は 文字コードの一覧を
># EUC
>EUC-CN                          EUC/EUC-CN.esdb
>EUC-JP                          EUC/EUC-JP.esdb
>EUC-JP-MS                       EUC/EUC-JP-MS.esdb
>EUC-KR                          EUC/EUC-KR.esdb
>EUC-TW                          EUC/EUC-TW.esdb
>という形で持っておいて、呼ばれたら読みに行っていたような。

似たような構造みたいですね。こちらで考えているデータ構造だと
日本語の文字コード同士では共通するデータがいっぱいありますので、
同じファイルにすることになります。

>Perl/Encode は拡張ライブラリ方式でした。ある拡張ライブラリを読み込むと、
>それが対応している文字コードの変換がサポートされます。そして、デフォルト
>で読み込む、文字コード変換拡張ライブラリをいくつか登録されていました。
>（デフォルトで読み込む文字コード変換ライブラリはユーザが後で追加可能）

中田さんと考えたのは require は必要ないようにしたいということです。
勿論将来的にユーザーが自分で追加したいときはあるだろうからこれにも
対応したいですが、先ずはリリースの後に文字コードの数を増やすことです。

>Martin さんが考えていらっしゃるのはおそらく Citrus に近い方式で、なかだ
>さんが考えていらっしゃるのは Perl/Encode に近い方式でしょうか。Citrus 方
>式だと各変換を最適化しやすく、Perl/Encode はモジュールの追加がしやすかっ
>たように記憶しています。

こちらでは「各変換」よりも「似たような変換同士」の最適化に力を入れようと
思っています。

宜しくお願いします。   Martin.


#-#-#  Martin J. Du"rst, Assoc. Professor, Aoyama Gakuin University
#-#-#  http://www.sw.it.aoyama.ac.jp       mailto:duerst@it.aoyama.ac.jp

Thread

Prev Next

In This Thread

Prev Next

[#32429] eval("\"\xfd".force_encoding("utf-8")) generages garbage in error message. — Tanaka Akira <akr@...>

[#32430] "wrong number of arguments (6 for 2)" by def m(a, b=:b, c, d, e) — Tanaka Akira <akr@...>

[#32432] eval("a"): illegal multibyte char — Tanaka Akira <akr@...>

[#32434] signature of exit() on C++ — "KISHIMOTO, Makoto" <ksmakoto@...4u.or.jp>

[#32447] ruby 1.9 trunk NKF and KCONV Encoding:ASCII-8BIT — WATANABE Tetsuya <Tetsuya.WATANABE@...>

[#32448] SEGV on "abcd\xf0".force_encoding("utf-8").reverse — Tanaka Akira <akr@...>

[#32451] -e:1:in `conv': no implicit conversion from nil to integer (TypeError) — Tanaka Akira <akr@...>

[#32452] `split': negative string size (or size too big) (ArgumentError) — Tanaka Akira <akr@...>

[#32459] Enumerator raises `dead fiber called' — "Yusuke ENDOH" <mame@...>

[#32462] SEGV by test/ruby/test_fiber.rb — Tanaka Akira <akr@...>

[#32468] Iconv.list patch for NetBSD/Citrus — "NARUSE, Yui" <naruse@...>

[#32473] about to_path and to_open — "Yusuke ENDOH" <mame@...>

[#32475] ext/tk/sample/tkextlib/vu/canvSticker2.rb — Tanaka Akira <akr@...>

[#32485] self-calling method dumps core — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32493] Regexp#names, MatchData#names, MatchData#regexp — Tanaka Akira <akr@...>

[#32498] Re: [ruby-cvs:21399] Ruby:r14162 (trunk): * parse.y (expr): redefinable not (!) operator. — SASADA Koichi <ko1@...>

[#32502] :!@.inspect — Kazuhiro NISHIYAMA <zn@...>

[#32509] ruby-core:13961での問題(Error while bulding Ruby 1.9 from snapshot 2007/12/09) — KIMURA Koichi <kimura.koichi@...>

[#32512] Re: [ruby-cvs:21409] Ruby:r14172 (trunk): * transcode.c: new file to provide encoding conversion features. — Nobuyoshi Nakada <nobu@...>

[#32514] typo in lib/uri/common.rb — Ueda Satoshi <s-ueda@...>

[#32518] bug in Array#slice! — Satoshi Nakagawa <snakagawa@...>

[#32531] eigenmethod definition for BasicObjects dumps core — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32536] timezone 関数が cygwin で見つかりません — Martin Duerst <duerst@...>

[#32550] Binary String — Hidetoshi NAGAI <nagai@...>

[#32556] default completion for irb1.9 — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32563] transcoder loading — Nobuyoshi Nakada <nobu@...>

[#32565] Re: [ruby-cvs:21436] Ruby:r14199 (trunk): * io.c (rb_io_check_readable): set default external encoding to — Tanaka Akira <akr@...>

[#32566] hang with write — Tanaka Akira <akr@...>

[#32567] [nil, [...]] — Tanaka Akira <akr@...>

[#32569] Re: [ruby-cvs:21441] Ruby:r14204 (trunk): * io.c (rb_io_getc): use default external encoding if fptr->enc is — Tanaka Akira <akr@...>

[#32581] expandarray may mark dirty VALUE beyond stack — "Yusuke ENDOH" <mame@...>

[#32585] SEGV by IO.pipe — Tanaka Akira <akr@...>

[#32588] /(?<foo>...)/ =~ str assigns foo — Tanaka Akira <akr@...>

[#32590] Circular dependency on AIX — "Yutaka Kanemoto" <kinpoco@...>

[#32604] stack overflow by GC in a thread — Tanaka Akira <akr@...>

[#32606] encoding loading — Nobuyoshi Nakada <nobu@...>

[#32608] $! == 8 — Tanaka Akira <akr@...>

[#32609] Re: [ruby-cvs:21475] Ruby:r14238 (trunk): * configure.in (enc/Makefile): add external encoding objects list. — Yukihiro Matsumoto <matz@...>

[#32610] 1.9.1 issues left (as of 12/15) — Yukihiro Matsumoto <matz@...>

[#32622] binding of caller — Nobuyoshi Nakada <nobu@...>

[#32624] rss and base64 — Tanaka Akira <akr@...>

[#32625] Re: [ruby-cvs:21528] Ruby:r14292 (trunk): more tests. — Yukihiro Matsumoto <matz@...>

[#32628] Bignum#to_s doesn't check base — "Yusuke ENDOH" <mame@...>

[#32629] faster Bignum#* — "Yusuke ENDOH" <mame@...>

[#32631] Cygwin 上で Ruby最新版 をインストールする場合 — "Koji Tominaga" <crimsonshower@...>

[#32636] Re: [ruby-cvs:21552] Ruby:r14315 (trunk): * ext/nkf/nkf.c (NKF::_ENCODING): removed. — Tanaka Akira <akr@...>

[#32640] inspect closed dir. — Tanaka Akira <akr@...>

[#32641] interrupt in * — Tanaka Akira <akr@...>

[#32644] unparenthesized method call with block — "Yusuke ENDOH" <mame@...>

[#32645] unparenthesized method call with block — "Yusuke ENDOH" <mame@...>

[#32662] encode! は変換しないときに <nil> になってしまう。 — Martin Duerst <duerst@...>

[#32665] Net::POP3#enable_sslの仕様変更 — Shugo Maeda <shugo@...>

[#32668] syntax errors on ext/tk/sample — "U.Nakamura" <usa@...>

[#32675] /(?<break>a)/ =~ "a" 等によるローカル変数 — "Keita Yamaguchi" <keita.yamaguchi@...>

[#32677] nil.freeze in date.rb — Shugo Maeda <shugo@...>

[#32680] fail to compile version.c in trunk — Masaki Suketa <masaki.suketa@...>

[#32685] test/webrick/test_server.rb hang — Tanaka Akira <akr@...>

[#32686] enum_inject の説明文 — "Keita Yamaguchi" <keita.yamaguchi@...>

[#32687] Re: [ruby-cvs:21753] Ruby:r14516 (trunk): * lib/time.rb (Time.httpdate): use Time.utc for — Tadayoshi Funaba <tadf@...>

[#32691] Why only inject() accepts :symbols as if it's a Proc in Enumerable? — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32693] String#== is not transitive — Tanaka Akira <akr@...>

[#32695] ISO-2022-JP output for transcode — "NARUSE, Yui" <naruse@...>

[#32699] cygwin 上で r14576 現在の test の失敗 — Martin Duerst <duerst@...>

[#32706] Fwd: RDoc: [FATAL] failed to allocate memory — Martin Duerst <duerst@...>

[#32708] Enumerable can't take multiple parameters — GOTOU Yuuzou <gotoyuzo@...>

[#32709] Re: [ruby-cvs:21826] Ruby:r14589 (trunk): Mon Dec 24 17:20:34 2007 NAKAMURA, Hiroshi <nahi@ruby-lang.org> — Tadayoshi Funaba <tadf@...>

[#32710] \e — "U.Nakamura" <usa@...>

[#32713] pre-release note for the christmas release. — Yukihiro Matsumoto <matz@...>

[#32715] issues left as of 12/25 2:00am JST — Yukihiro Matsumoto <matz@...>

[#32718] next dumps core when poped is 0 — "Yusuke ENDOH" <mame@...>

[#32725] more ANSI'ize — Tadashi Saito <shiba@...2.accsnet.ne.jp>

[#32726] Can't build on MacOSX 10.4(Tiger) (was Re: Re: 1.9.1 issues left (as of 12/15)) — "MOROHASHI Kyosuke" <moronatural@...>

[#32740] distinguish "w" and "w:euc-jp" — Tanaka Akira <akr@...>

[#32746] appendline Invalid read of size 1 — Tanaka Akira <akr@...>

[#32747] test-all on Debian/GNU etch — SASADA Koichi <ko1@...>

[#32748] resut of make test on cygwin — SASADA Koichi <ko1@...>

[#32756] make rdoc cause segv on OpenBSD — SASADA Koichi <ko1@...>

[#32763] Re: [ruby-cvs:21913] Ruby:r14676 (trunk): * trunk/common.mk, goruby.c, golf_prelude.rb: for golfers. — Yukihiro Matsumoto <matz@...>

[#32765] test/ruby/test_transcode.rb の問題 — Martin Duerst <duerst@...>

[#32767] result of test-all on FreeBSD 6.2 — SASADA Koichi <ko1@...>

[#32631] Cygwin 上で Ruby最新版をインストールする場合 — "Koji Tominaga" <crimsonshower@...>