From: Tanaka Akira Date: 2008-07-26T17:49:49+09:00 Subject: [ruby-dev:35661] Re: non-locale filename encoding In article <488AC157.7090203@airemix.jp>, "NARUSE, Yui" writes: > Windows で W 系 API が使われるのを前提として (今はまだ A 系)、 > > Dir.foreach(".", :internal_encoding => "CP51932") do |fn| > p [fn, File.size(fn)] # Windows なのでパス自動変換 > end > > とかでしょうか。 ふむ、CP51932 ですか。使用頻度が低そうですね。 もっと普通の人が使いそうな例ってありますか? しかし、やはり :internal_encoding を削除したほうがいいと思い ます。 まず、unix で :internal_encoding を使って変換すると、ファイ ル名としてのバイト列が壊れて、open 等の操作が出来なくなりま す。以前、[ruby-dev:34933] で | ファイル名で一番重要なのは、ファイルを同定できるという性質で | はないでしょうか。ファイル名を読めるというのはその次にくる性 | 質だと思います。 と書きましたが、:internal_encoding を使うと、ファイルを同定 できなくなります。これは許し難い性質です。 また windows でも、指定するエンコーディングによって問題があっ たりなかったりするということがあります。生のファイル名と指定 したエンコーディングとの変換で round trip するかどうかが問題 ですが、これは知っていないと判断が困難です。しかも、知らない ひとが試行錯誤して調べてみようと思っても、:internal_encoding を使うと、変換元の文字列を確認できませんから、試行錯誤するこ と自体が困難です。 あと、変換に失敗したときにファイル名が失われる、という点もあ ります。Dir#read 内で、readdir(3) に成功した後に変換を行うた め、そこで例外が起きれば readdir が返したファイル名が失われ ます。 このような問題を考えると :internal_encoding に相当することを やりたければ、Dir 自体じゃなくて、Dir を使う側が String#encode で行うというのがいいんじゃないでしょうか。 つまり、 Dir.open(dir, :internal_encoding=>enc) {|d| d.read } の代わりに、 Dir.open(dir) {|d| d.read.encode(enc) } とする、というわけです。 こうすれば、呼び出した側は、変換元の文字列を知ることができ、 変換で何が起こるのかを調べることが出来ます。また、変換に害が あることを知って、変換せずにファイル名を使うようになれば、 unix でも windows でも動作するプログラムが書けるようになりま す。 というわけで、パッチを書いてみました。 なお、Dir.open のところで (unix 上でも) パスを変換することが あって、Dir.open 出来るべきものが出来ないことがあったので、 そこも削除してあります。 % svn diff --diff-cmd diff -x '-u -p' Index: dir.c =================================================================== --- dir.c (revision 18220) +++ dir.c (working copy) @@ -291,7 +291,6 @@ VALUE rb_cDir; struct dir_data { DIR *dir; char *path; - rb_encoding *intenc; rb_encoding *extenc; }; @@ -315,7 +314,6 @@ dir_s_alloc(VALUE klass) dirp->dir = NULL; dirp->path = NULL; - dirp->intenc = NULL; dirp->extenc = NULL; return obj; @@ -332,66 +330,37 @@ dir_initialize(int argc, VALUE *argv, VA { struct dir_data *dp; static rb_encoding *fs_encoding; - rb_encoding *intencoding, *extencoding; + rb_encoding *extencoding; VALUE dirname, opt; - static VALUE sym_intenc, sym_extenc; + static VALUE sym_extenc; - if (!sym_intenc) { - sym_intenc = ID2SYM(rb_intern("internal_encoding")); + if (!sym_extenc) { sym_extenc = ID2SYM(rb_intern("external_encoding")); fs_encoding = rb_filesystem_encoding(); } - intencoding = NULL; extencoding = fs_encoding; rb_scan_args(argc, argv, "11", &dirname, &opt); if (!NIL_P(opt)) { - VALUE v, extenc=Qnil, intenc=Qnil; + VALUE v, extenc=Qnil; opt = rb_convert_type(opt, T_HASH, "Hash", "to_hash"); - v = rb_hash_aref(opt, sym_intenc); - if (!NIL_P(v)) intenc = v; v = rb_hash_aref(opt, sym_extenc); if (!NIL_P(v)) extenc = v; if (!NIL_P(extenc)) { extencoding = rb_to_encoding(extenc); - if (!NIL_P(intenc)) { - intencoding = rb_to_encoding(intenc); - if (extencoding == intencoding) { - rb_warn("Ignoring internal encoding '%s': it is identical to external encoding '%s'", - RSTRING_PTR(rb_inspect(intenc)), - RSTRING_PTR(rb_inspect(extenc))); - intencoding = NULL; - } - } - } - else if (!NIL_P(intenc)) { - rb_raise(rb_eArgError, "External encoding must be specified when internal encoding is given"); } } FilePathValue(dirname); - { - rb_encoding *dirname_encoding = rb_enc_get(dirname); - if (rb_usascii_encoding() != dirname_encoding - && rb_ascii8bit_encoding() != dirname_encoding -#if defined __APPLE__ - && rb_utf8_encoding() != dirname_encoding -#endif - && extencoding != dirname_encoding) { - if (!intencoding) intencoding = dirname_encoding; - dirname = rb_str_transcode(dirname, rb_enc_from_encoding(extencoding)); - } - } Data_Get_Struct(dir, struct dir_data, dp); if (dp->dir) closedir(dp->dir); if (dp->path) xfree(dp->path); dp->dir = NULL; dp->path = NULL; - dp->intenc = intencoding; dp->extenc = extencoding; dp->dir = opendir(RSTRING_PTR(dirname)); if (dp->dir == NULL) { @@ -457,9 +426,6 @@ static VALUE dir_enc_str(VALUE str, struct dir_data *dirp) { rb_enc_associate(str, dirp->extenc); - if (dirp->intenc) { - str = rb_str_transcode(str, rb_enc_from_encoding(dirp->intenc)); - } return str; } -- [田中 哲][たなか あきら][Tanaka Akira]