[ruby-dev:35635] Re: non-locale filename encoding

In article <[e-mail]>,
  "NARUSE, Yui" <[e-mail]> writes:

> あまりプログラムにがんばらせたくないなぁと思っているのですが、
> いちいち引数を与えあり、Ruby 自体ががんばるのもその中に入る
> という主張も成り立つのでしょうねぇ。

Dir の internal_encoding, external_encoding を使うには、プロ
グラムが変な方向にがんばる必要が有るように思えます。

> しかし、実際のところ、現在自動変換が行われるのは
> Windows くらいなわけで (これも検討中ではある)、
> たいていの場合は動作が変わらないわけです。
>
> とすると、田中さんの提案は、デフォルトをもっと自動変換側に
> 倒した場合に真価を発揮するのですかね。

いいえ。

たとえば、あるディレクトリの各ファイルのサイズを表示すること
を考えてみましょう。

% mkdir /tmp/xyz
% cd /tmp/xyz
% ruby -e 'open("\x91\x92\x93\x94", "w")'
% ls
????

ここで、エンコーディングを指定しなければ、以下のようになりま
す。

% ruby -e '
Dir.open(".") {|d|
  while n = d.read
    p [File.size(n), n]
  end
}'
[4096, "."]
[45056, ".."]
[0, "\x91\x92\x93\x94"]

このプログラムは、Unix では任意のファイル名について動作しま
す。たとえば、上記の \x91\x92\x93\x94 でも動きます。

しかし、Windows で、Unicode にはあるが、システムコードページ
では表現できない文字 (日本語版 Windows の場合でいえば、CP932
では表現できない文字) がファイル名に使われていると、おそらく
動かないでしょう。

Windows でそういうファイル名も扱おうと考えた場合、現時点では、
Ruby にはそのための機構が入っていないのでどう指定するかは明
らかでは有りませんが、仮に、:external_encoding=>"utf-16le"
とすると Unicode なファイル名を扱うようになり、
:external_encoding=>"utf-16le", :internal_encoding=>"utf-8"
とするとそれを UTF-8 にしてわたしてくれるしてみましょう。
そうすると次のようになります。

% ./ruby -e '
Dir.open(".", :external_encoding=>"utf-16le", :internal_encoding=>"utf-8") {|d|
  while n = d.read
    p [File.size(n), n]
  end
}'
-e:3:in `read': invalid byte sequence (RuntimeError)
        from -e:3:in `block in <main>'
        from -e:2:in `open'
        from -e:2:in `<main>'

しかし、残念なことに、これは Unix では動きません。
直接的には、上記のエラーは、"." を UTF-16LE から UTF-8 に変
換しようとして発生しています。

また、仮に変換エラーが起きなかったとしても、一般に変換を行う
とバイト列が変化します。しかし、File.size はファイルをちゃん
と同定する必要があります。とすると、逆変換が必要になりますが、
一般に変換・逆変換でバイト列が round trip する保証はありませ
ん。

明らかなケースとしては、GB18030 があげられます。GB18030 は
UTF-8 のスーパーセットですから、GB18030 -> UTF-8 -> GB18030
では元に戻らないケースが存在します。

そうすると、こういう変換を行うのは Windows だけに限定する必
要が有ります。そすると次のようになります。

% ./ruby -e '
opt = /windows/ =~ RUBY_PLATFORM ? {:external_encoding=>"utf-16le", :internal_encoding=>"utf-8"} : {}
Dir.open(".", opt) {|d|
  while n = d.read
    p [File.size(n), n]
  end
}'

結局、File.size は確実にファイルを同定する必要があって、その
点では文字コードの変換は基本的に邪魔で、厄介者でしか有りませ
ん。

もちろん、この問題は File.size だけではなくて、ファイルの実
体にアクセスするすべての操作 (stat, open, unlink, link, ...)
で問題になります。

そうすると、やはり変換していない生のファイル名が必要で、
Unix ではバイト列そのままで locale な encoding がついたもの、
Windows では UTF-8 なものを返すオプションを仮に
:native_filename=>true とすると、以下のように書けます。

% ruby -e '
Dir.open(".", :native_filename=>true) {|d|
  while n = d.read
    p [File.size(n), n]
  end
}'

ここでは、生のファイル名を p で表示していますが、ちゃんと
locale に従ってエンコードするなら、以下のように変換します。
(ここで変換に失敗したときの対処が必要かもしれません)

しかし、File.size に渡すファイル名は変換しませんし、してはい
けません。

% ruby -e '
Dir.open(".", :native_filename=>true) {|d|
  while n = d.read
    p [File.size(n), n.encode(Encoding.locale_charmap)]
  end
}'

また、ファイル名を標準入力に出すのでなく、GUI で表示するので
あれば、GUI の扱うコードに変換する必要があるでしょう。しかし、
やはりその場合でも File.size に渡すファイル名は変換しません
し、してはいけません。

このように、結局、ファイル名を確実に扱うのに必要な機構は、確
実にファイルを同定できるファイル名を得ることで、文字コードの
変換は邪魔です。

変換は表示の際に必要になりますが、対象がファイル名である以上、
ファイルが同定できなくなるのはむしろ問題が大きいと考えられま
す。

それなのに、なんでそんな機構を Dir につけるんでしょう?

>> internal_encoding, external_encoding って、どういうアプリケー
>> ションで役に立つんでしょう?
>
> 当時はあまり明示的に force_encoding / encode させたくないという趣旨でした。

locale に従って運用されているシステムを想定する用法なら
現状で force_encoding も encode も不要です。

そうでない想定をするなら、internal_encoding,
external_encoding が役に立つアプリケーションってどういうケー
スでしょう?

Windows で Unicode なファイル名を扱うときだとしても、その書
き方として、ポータブルにならない書き方を提案するのはよくない
んじゃないでしょうか。

internal_encoding, external_encoding が役に立つアプリケーショ
ンの具体的な例ってないんでしょうか?

> 結局のところ、プログラムで頑張らせるべきか、
> 設定の手段をするべきかという所なのですかねぇ。

Dir による変換は、プログラムを変な方向にがんばらせるのではな
いでしょうか。

Windows かどうかを条件判断するとか、逆変換が必要になるとか。

> # つまるところ、例外が出た時の処理の利便性か

逆変換が可能であるような場合には、変換しても問題がないのかも
しれません。そういう意味で、この問題を変換で例外が出たときの
問題というとらえかたはありえるでしょう。

しかし、私は、そもそも変換するのが問題だととらえています。
-- 
[田中 哲][たなか あきら][Tanaka Akira]