[ruby-dev:32575] Re: transcoder loading

なかだです。

At Thu, 13 Dec 2007 13:27:57 +0900,
Martin Duerst wrote in [ruby-dev:32572]:
> >transcoderを拡張ライブラリに出してみました。ext/とは別にしたほう
> >がいいかもしれませんが。
> 
> その通りだと思います。これからデータのファイルが増えるので、
> メインのところにはちょっと不便ですが、ext にするといちいち
> require が必要になると思いますが、これはとても不便だと思います。
> require が必要になったら結局 String#encode が定義されているが、
> require しないと使えない、という不思議な現象になってしまうでしょう。

requireは自動的に行うように考えています。

> ファイルの場所を考えると、enc の中、もしくは enc/trans では
> いいのではないかと思います。

最初はenc/transを考えていたのですが、結局やることはextと同じなの
で、とりあえず手を抜きました。

> >include/ruby/transcode.hとext/enc/trans/iso_8859/iso_8859.cは、
> >それぞれtranscode_data.hとtranscode_data_iso_8859.cをsvn mv した
> >ものです。
> 
> 細かいところだけいいますと、/iso_8859/ の部分は要らないと思います。
> ファイル一つだけのためのディレクトリは余り意味がないと思います。

extmk.rbで扱うための手抜きの他に、複数ファイルに分ける場合がある
かもしれないということです。

> しかも、iso-8859 見たいに標準にそってファイルをまとめることに
> は長期的にはならないと思います。データの効率を考えると文字種
> (例えば Latin、Greek、など) にそってまとめた方がいいと思います。

これはちょっとよくわからなかったんですが、たとえばLatin文字セッ
トの各encodingでのcodepoint表を作る、といったことでしょうか。

言語ごとに作業を分けられるというメリットがあるかと思いますが、
String#encodeでの指定などはどういう風になるんでしょうか。

> 後は、(予定していた) transcode.h と (既に存在する) transcode_data.h
> は別物として考えています。transcode.h はルビから使える機能を定義し、
> transcode_data.h はデータ形式関係のものを定義し、ルビからは
> アクセスしなくていいもの、という考え方です。

了解です。

> >-/* in the future, add some mechanism for dynamically adding stuff here */
> >-#define MAX_TRANSCODERS 29  /* todo: fix: this number has to be adjusted 
> >by hand */
> >-static transcoder transcoder_table[MAX_TRANSCODERS];
> >+static st_table *transcoder_table;
> 
> ハッシュにするのはありかと思います。



> >+#define TRANSCODER_SEP '@'
> 
> これは内部だけの決まりだと思いましたが、ファイル名にまで使われているので、
> 十分検討した方がいいと思います。

requireするときには'/'に書き換えるということも可能でしょう。実際
最初はそのようにしたんですが、ディレクトリが多すぎるように感じた
のでこのようにしてみました。

> >+    for (s = key; *s; ++s) {
> >+      if (ISUPPER(*s)) *s = tolower(*s);
> 
> 今まで見たところで、ルビ内の Encoding は全部大文字になっていますので、
> なぜでここで小文字にしますか。

ライブラリ名は小文字という慣習が(おおむね)ありますので。

> >+             rb_transcoding *my_transcoding)
> > {
> >     char *in_p = *in_pos, *out_p = *out_pos;
> >-    const BYTE_LOOKUP *conv_tree_start = my_transcoder->conv_tree_start;
> >+    const BYTE_LOOKUP *conv_tree_start = my_transcoder->transcode_arg;
> 
> 変数、メンバーの名前を変える必要がないと思います。

抽象化のためです。rb_register_transcoder()に関数ポインタを渡すよ
うにすることで、str_encode()とtranscode_loop()は直接の関係を持た
なくなります。つまり、transcoderによってはtreeとはまったく異なる
ものを使うことになるかもしれません。

> > transcode_loop(char **in_pos, char **out_pos,
> >              char *in_stop, char *out_stop,
> >-             transcoder *my_transcoder,
> >-             transcoding *my_transcoding)
> >+             const rb_transcoder *my_transcoder,
> >+             int from_utf8,
> 
> 変数を増やさない方がいいと思います。

> >+void
> >+rb_transcode_loop_from_utf8(char **in_pos, char **out_pos,
> >+                          char *in_stop, char *out_stop,
> >+                          const rb_transcoder *my_transcoder,
> >+                          rb_transcoding *my_transcoding)
> >+{
> >+    transcode_loop(in_pos, out_pos, in_stop, out_stop,
> >+                 my_transcoder, 1, my_transcoding);
> >+}
> >+
> >+void
> >+rb_transcode_loop_simple(char **in_pos, char **out_pos,
> >+                      char *in_stop, char *out_stop,
> >+                      const rb_transcoder *my_transcoder,
> >+                      rb_transcoding *my_transcoding)
> >+{
> >+    transcode_loop(in_pos, out_pos, in_stop, out_stop,
> >+                 my_transcoder, 0, my_transcoding);
> >+}
> >+
> 
> 関数を増やす必要が現在内と思います。

transcode_loop()をコピーするよりは、フラグ引数のままのほうがよい
だろうと思いました。

> >     /* for simple testing: */
> >-    transcode_loop(&fromp, &bp, (sp+slen), (bp+blen), my_transcoder, 
> >&my_transcoding);
> >+    my_transcoder->transcode_loop(&fromp, &bp, (sp+slen), (bp+blen),
> >+                                my_transcoder->transcode_arg, &my_transcoding);
> 
> やりたいことが分かりますが、あくまでもデータ中心にやった方がいいと思います。

テーブル駆動ということですか? iso-8859系とutf-8間ではそれがいい
と思いますが、必ずしもそういう変換ばかりではありませんから。

> >Index: ext/enc/trans/iso_8859/lib/[e-mail]
> >===================================================================
> >--- ext/enc/trans/iso_8859/lib/[e-mail]     (revision 0)
> >+++ ext/enc/trans/iso_8859/lib/[e-mail]     (revision 0)
> >@@ -0,0 +1 @@
> >+require "enc/trans/iso_8859"
> >Index: ext/enc/trans/iso_8859/lib/[e-mail]
> 
> いちいち一行のファイルを作るのはちょっとやりすぎだと思います。
> もうちょっといい方法はないのでしょうか。

同感です。

> このやり方でルビの内部でどの変換があるのか分からないという問題になる
> のもよく分かります。これは例えば force_encoding の ([ruby-dev:32563]
> など) と関係するだけではなく、utf-8 とか経由の二段階とかで変換するときにも
> 問題になりそうです。

変換パスを登録するDBのようなものが必要になりますかねぇ。

> >+typedef struct {
> >+    const BYTE_LOOKUP *conv_tree_start;
> >+    int max_output;
> >+} iso_8859_transcoder;
> 
> これは少なくともいまの段階で必要ないかと思います。

1.9.1までには少なくとも日本語の変換も可能にしたいです。

-- 
--- 僕の前にBugはない。
--- 僕の後ろにBugはできる。
    中田 伸悦