[ruby-dev:35661] Re: non-locale filename encoding

In article <[e-mail]>,
  "NARUSE, Yui" <[e-mail]> writes:

> Windows で W 系 API が使われるのを前提として (今はまだ A 系)、
>
> Dir.foreach(".", :internal_encoding => "CP51932") do |fn|
>   p [fn, File.size(fn)] # Windows なのでパス自動変換
> end
>
> とかでしょうか。

ふむ、CP51932 ですか。使用頻度が低そうですね。
もっと普通の人が使いそうな例ってありますか?

しかし、やはり :internal_encoding を削除したほうがいいと思い
ます。

まず、unix で :internal_encoding を使って変換すると、ファイ
ル名としてのバイト列が壊れて、open 等の操作が出来なくなりま
す。以前、[ruby-dev:34933] で

| ファイル名で一番重要なのは、ファイルを同定できるという性質で
| はないでしょうか。ファイル名を読めるというのはその次にくる性
| 質だと思います。

と書きましたが、:internal_encoding を使うと、ファイルを同定
できなくなります。これは許し難い性質です。

また windows でも、指定するエンコーディングによって問題があっ
たりなかったりするということがあります。生のファイル名と指定
したエンコーディングとの変換で round trip するかどうかが問題
ですが、これは知っていないと判断が困難です。しかも、知らない
ひとが試行錯誤して調べてみようと思っても、:internal_encoding
を使うと、変換元の文字列を確認できませんから、試行錯誤するこ
と自体が困難です。

あと、変換に失敗したときにファイル名が失われる、という点もあ
ります。Dir#read 内で、readdir(3) に成功した後に変換を行うた
め、そこで例外が起きれば readdir が返したファイル名が失われ
ます。

このような問題を考えると :internal_encoding に相当することを
やりたければ、Dir 自体じゃなくて、Dir を使う側が
String#encode で行うというのがいいんじゃないでしょうか。

つまり、
  Dir.open(dir, :internal_encoding=>enc) {|d|
    d.read
  }
の代わりに、
  Dir.open(dir) {|d|
    d.read.encode(enc)
  }
とする、というわけです。

こうすれば、呼び出した側は、変換元の文字列を知ることができ、
変換で何が起こるのかを調べることが出来ます。また、変換に害が
あることを知って、変換せずにファイル名を使うようになれば、
unix でも windows でも動作するプログラムが書けるようになりま
す。

というわけで、パッチを書いてみました。

なお、Dir.open のところで (unix 上でも) パスを変換することが
あって、Dir.open 出来るべきものが出来ないことがあったので、
そこも削除してあります。

% svn diff --diff-cmd diff -x '-u -p'
Index: dir.c
===================================================================
--- dir.c	(revision 18220)
+++ dir.c	(working copy)
@@ -291,7 +291,6 @@ VALUE rb_cDir;
 struct dir_data {
     DIR *dir;
     char *path;
-    rb_encoding *intenc;
     rb_encoding *extenc;
 };
 
@@ -315,7 +314,6 @@ dir_s_alloc(VALUE klass)
 
     dirp->dir = NULL;
     dirp->path = NULL;
-    dirp->intenc = NULL;
     dirp->extenc = NULL;
 
     return obj;
@@ -332,66 +330,37 @@ dir_initialize(int argc, VALUE *argv, VA
 {
     struct dir_data *dp;
     static rb_encoding *fs_encoding;
-    rb_encoding  *intencoding, *extencoding;
+    rb_encoding  *extencoding;
     VALUE dirname, opt;
-    static VALUE sym_intenc, sym_extenc;
+    static VALUE sym_extenc;
 
-    if (!sym_intenc) {
-	sym_intenc = ID2SYM(rb_intern("internal_encoding"));
+    if (!sym_extenc) {
 	sym_extenc = ID2SYM(rb_intern("external_encoding"));
 	fs_encoding = rb_filesystem_encoding();
     }
 
-    intencoding = NULL;
     extencoding = fs_encoding;
     rb_scan_args(argc, argv, "11", &dirname, &opt);
 
     if (!NIL_P(opt)) {
-        VALUE v, extenc=Qnil, intenc=Qnil;
+        VALUE v, extenc=Qnil;
         opt = rb_convert_type(opt, T_HASH, "Hash", "to_hash");
 
-        v = rb_hash_aref(opt, sym_intenc);
-        if (!NIL_P(v)) intenc = v;
         v = rb_hash_aref(opt, sym_extenc);
         if (!NIL_P(v)) extenc = v;
 
 	if (!NIL_P(extenc)) {
 	    extencoding = rb_to_encoding(extenc);
-	    if (!NIL_P(intenc)) {
-		intencoding = rb_to_encoding(intenc);
-		if (extencoding == intencoding) {
-		    rb_warn("Ignoring internal encoding '%s': it is identical to external encoding '%s'",
-			    RSTRING_PTR(rb_inspect(intenc)),
-			    RSTRING_PTR(rb_inspect(extenc)));
-		    intencoding = NULL;
-		}
-	    }
-	}
-	else if (!NIL_P(intenc)) {
-	    rb_raise(rb_eArgError, "External encoding must be specified when internal encoding is given");
 	}
     }
 
     FilePathValue(dirname);
-    {
-	rb_encoding  *dirname_encoding = rb_enc_get(dirname);
-	if (rb_usascii_encoding() != dirname_encoding
-	    && rb_ascii8bit_encoding() != dirname_encoding
-#if defined __APPLE__
-	    && rb_utf8_encoding() != dirname_encoding
-#endif
-	    && extencoding != dirname_encoding) {
-	    if (!intencoding) intencoding = dirname_encoding;
-	    dirname = rb_str_transcode(dirname, rb_enc_from_encoding(extencoding));
-	}
-    }
 
     Data_Get_Struct(dir, struct dir_data, dp);
     if (dp->dir) closedir(dp->dir);
     if (dp->path) xfree(dp->path);
     dp->dir = NULL;
     dp->path = NULL;
-    dp->intenc = intencoding;
     dp->extenc = extencoding;
     dp->dir = opendir(RSTRING_PTR(dirname));
     if (dp->dir == NULL) {
@@ -457,9 +426,6 @@ static VALUE
 dir_enc_str(VALUE str, struct dir_data *dirp)
 {
     rb_enc_associate(str, dirp->extenc);
-    if (dirp->intenc) {
-        str = rb_str_transcode(str, rb_enc_from_encoding(dirp->intenc));
-    }
     return str;
 }
 
-- 
[田中 哲][たなか あきら][Tanaka Akira]