[ruby-dev:33913] Re: encdet.rb

須藤です。

お互いの前提が結構食い違っていることはわかりました。
ただ、で、どういう方向に向ければ収束するのかがわかりませ
ん。どうしよう。。。

In <[e-mail]>
  "[ruby-dev:33906] Re: encdet.rb" on Fri, 22 Feb 2008 13:39:32 +0900,
  Tanaka Akira <[e-mail]> wrote:

> > ディレクトリを覚えるという状況がよくわからないのですが、どう
> > いうときにディレクトリを覚えるのでしょうか？例えば、
> > net/http.rbを使うときはnetディレクトリを覚える、ということで
> > しょうか？
> 
> はい。覚えていないと require の引数を書けません。
> 
> まぁ、書けないというのは言い過ぎかもしれませんが、経験上
> test/unit で require を書くときにいくらか戸惑った覚えがあり
> ます。

たぶん、田中さんは普段、"#{モジュール名.doncase}.rb"なので最
初にそれを試して、失敗して、それで戸惑ったということなんだと
想像しています。

でも、net/httpじゃなくてnethttpだったら戸惑わないとかいうもの
でもなくて、普段使わないライブラリだから戸惑ったというのもあ
るような気がします。

ただ、田中さんも言うように問題は↓で。

> > 私は階層構造（XXX/YYY）になっている時はXXXを覚えようとは（た
> > ぶん）思っていませんが、XXXに関連するYYYという機能を使う、と
> > 考えている気がします。
> 
> XXXYYY や XXX-YYY も XXX に関連する YYY という機能を使うと解
> 釈できるんじゃないでしょうか。

私はXXXYYYだとXXXとYYYの切れめが分かりづらいのでそこで少し戸
惑うことがあります。（特にWEBrickのやつ。）なので、私は密か
に"#{モジュール名.doncase}.rb"普及を拒みたいと思っています。

なので、たぶん、XXX-YYY.rbになるなら文句は言わなくなる気がし
ます。（encには反対すると思いますが。）

で、問題は

> XXX に関連する YYY という機能を使おうと思った時、XXXYYY,
> XXX-YYY, XXX/YYY のどれなのだろうか、というのを思い出しやす
> くするするにはどうしたらしいか、というのが問題なのだと思いま
> す。

なんだと思います。そして、私の好みはXXX/YYY or XXX-YYYで田中
さんのはXXXYYYなんだと思います。

どうしましょう。
エンコーディング関係の別の機能を考えるのがいいのかしら。

> > また、XXX/以下にファイルが何個あるかを意識したことがないので
> > すが、それを意識するのはわりと普通のことなのでしょうか？
> > （net/シリーズはいろいろあるなぁとかは思ったことがあると思い
> > ます。）
> 
> 私の感覚としては、意識してもおかしくありません。いくつもあれ
> ば、分類に意味があるのが明らかで覚えやすいのですが、そうでな
> ければ明らかはありません。

うーん、そうですか。


> たとえば、日本語を含んだプレインテキストを処理するときに、エ
> ンコーディングをどう指定するか、とか。Emacs は自動判別、Ruby
> は locale や -K オプションというよりは、magic comment という
> ひとつの情報で両方を制御したほうがいいでしょう。

それはわかるのですが、コメント形式がないフォーマットには
magic commentを追加しにくいのではないかと思います。例えば、
CSVはどうでしょう。

> なお、YAML はたしか仕様自体に UTF-8 という規定が入っているよ
> うな気がするので微妙な気がします。

UTF-16 LE/BEも受け付けるので利用したくなるかもしれません。
YAMLパーサ使えよ、と言われればまぁそうなんですが。

> > それは各フォーマットの問題な気もします。例えば、XMLでは
> > encoding="XXX"ですが、今のEncDet.detect_encodingでは対応して
> > いない気がします。それとも、各フォーマットでのエンコーディン
> > グ指定書式にも対応していくということでしょうか？
> 
> 必要になればやってもいいかもしれません。
> 
> ただ、XML は XML パーザーが面倒を見てくれるような気もします。

XMLファイルを開いてgsubするとか、grepしたいとかいう場合もあ
る気がします。

> > 今更いうのもアレなんですが、そもそも、openというAPIはどうかなぁ
> > と思っています。興味があるのは「ファイルを開いてエンコーディ
> > ングを検出して設定する」ことではなくて、「IOのエンコーディン
> > グを検出して設定する」ことだけだと思います。なので、以下のよ
> > うに使えた方がよい気がしています。
> >
> >   File.open("XXX") do |f|
> >     f.detect_encoding!
> >     ...
> >   end
> >
> > 上記のようなAPIだとFile.open以外のIO（っぽいもの、例えば
> > StringIO）でもエンコーディング検出機能が同じAPIで使えます。
> 
> ひとつ考えていて、上記のでは扱えないのは Apache の
> mod_cern_meta による形式ですね。経緯からいえば CERN httpd の形
> 式といったほうがいいんですが、dir/foo というファイルに対して
> dir/.web/foo.meta に Content-Type とかを書けるというもので、
> open するタイミングを捕まえないと問題が出てきます。chdir と
> か。

chdirがよくわかないのですが、openしたあとでもFile#pathでどう
にかならないものでしょうか？


> ただ、Tempfile はそのプロセス自身が生成したもので、中身にエ
> ンコーディングを指定する必要性は下がるような気がします。ある
> としたら、Tempfile を生成したあと何かコマンドを起動してそこ
> に書き込ませてそれを読むとかでしょうか。でもそうすると、その
> コマンドのことを知っていればエンコーディングはわかる気がしま
> す。具体的にはどいう状況で嬉しいでしょうね?

まさにそのとおりで、私はよくコマンドの結果を入れるのに使いま
す。そのとき、入力値がプログラムで生成したことももちろんある
のですが、どこかから持ってきたものを入力してコマンドに通して
からその結果をプログラムで使うということもあります。そのとき
はプログラムでの最初の入力がコマンドからの出力なのでエンコー
ディングを検出したくなると思います。

また、もし、自分でエンコーディングが分かっている場合でも自分
でエンコーディングを指定するよりは自動でやってくれた方が楽な
ので使いたくなると思います。

> > encodingがencと略されているのはRubyのCのAPIまでで、まだRuby
> > レベルではencodingしかないと思います。encと略してまで短くす
> > るものではないのではないか、とはまだ思っています。
> 
> 上でも述べましたが、使用頻度に対する想定が異なっているのが食
> い違いの原因ですかねぇ。

であれば、やっぱりopenの第二引数で指定できるくらいの使いやす
さまで頑張って欲しいです。

> > あと、モジュール名が動詞(detect)というのも少し気になります。
> > （そういうのはもうすでにたくさんありますが。）
> 
> 今回のはまさになにかひとつのことを行うライブラリなので動詞が
> 中身を表している気がします。

たぶん、私は、Detect.openと動詞がつながるのがなんか嫌なんだ
と思います。

> 機能を増やせば話は変わってきますが、なにかありますかねぇ。
> ふむ、magic comment を生成する機能とか?

コメントの書き方がフォーマットによって違うので難しい気がしま
す。

エンコーディングを推測する機能や検証する機能は組み込みでしたっ
け。