[ruby-dev:35642] Re: non-locale filename encoding

成瀬です。

>>> internal_encoding, external_encoding って、どういうアプリケー
>>> ションで役に立つんでしょう?
>> 当時はあまり明示的に force_encoding / encode させたくないという趣旨でした。
>
> locale に従って運用されているシステムを想定する用法なら
> 現状で force_encoding も encode も不要です。
>
> そうでない想定をするなら、internal_encoding,
> external_encoding が役に立つアプリケーションってどういうケー
> スでしょう?
>
> Windows で Unicode なファイル名を扱うときだとしても、その書
> き方として、ポータブルにならない書き方を提案するのはよくない
> んじゃないでしょうか。
>
> internal_encoding, external_encoding が役に立つアプリケーショ
> ンの具体的な例ってないんでしょうか?

想定としては、Unix 系でファイルシステムのエンコーディングが
locale と異なる場合です。
この場合、Unix 系なのでファイルシステム上のパス文字列は変換されず、
その一方でファイルシステムのエンコーディングがセットされます。
この string を扱う force_encoding する必要があることを嫌いました。

file の open の場合、
UTF-8 ロケールにて Shift_JIS のテキストを読む場合に、
  open("sjis.txt"){|f| puts f.read.force_encoding("UTF-8") }
とするのではなく、
  open("sjis.txt", "r:sjis"){|f| puts f.read }
とした方がスマートなのですが、これと同様に

Shift_JIS ロケールにて UTF-8 なファイルシステムの場合、
  opendir("."){|dir| puts dir.read.force_encoding("UTF-8") }
よりも
  opendir(".", :external_encoding=>"UTF-8"){|dir| puts dir.read }
とした方がスマートであろうと考えました。


まぁ、田中さんの指摘で気付いたのですが、
filesystem と異なる encoding を持っているが正しいpath の string を、
他の FS 系の API につっこんだ場合は悩ましく、
引数の string を filesystem encoding に自動変換、
または filesystem encoding と異なる場合は例外、なんてことをすると、
Unix 系ではこのケースで悲しいことになります。

本当は dir でなく、その filesystem に
external encoding をセットしないといけないんだろうな。

まぁ、これに関してはこの手の自動変換を諦めればいいのですが。

Tanaka Akira wrote:
> 結局、File.size は確実にファイルを同定する必要があって、その
> 点では文字コードの変換は基本的に邪魔で、厄介者でしか有りませ
> ん。
> 
> もちろん、この問題は File.size だけではなくて、ファイルの実
> 体にアクセスするすべての操作 (stat, open, unlink, link, ...)
> で問題になります。
> 
> そうすると、やはり変換していない生のファイル名が必要で、
> Unix ではバイト列そのままで locale な encoding がついたもの、
> Windows では UTF-8 なものを返すオプションを仮に
> :native_filename=>true とすると、以下のように書けます。
> 
> % ruby -e '
> Dir.open(".", :native_filename=>true) {|d|
>   while n = d.read
>     p [File.size(n), n]
>   end
> }'

やっと田中さんの意図した問題点が理解できました。
ご指摘の課題は仰る通りで、確かに解決策は、
「無変換のパスに確度の高いエンコーディングをつけてを返す API を用意する」
がベストでしょう。

> このように、結局、ファイル名を確実に扱うのに必要な機構は、確
> 実にファイルを同定できるファイル名を得ることで、文字コードの
> 変換は邪魔です。

田中さんの認識では、:external_encoding/:internal_encoding は、
ファイルパスの変換のための機構である、となっているように思います。

わたしの認識では以下の通りになっています。
:external_encoding : ファイルシステムのエンコーディングを強制的に指定する機構
:internal_encoding : 自動変換のための機構
なので、こちらで、
:external_encoding : システムネイティブのエンコーディングを指定 (現在はない)
:internal_encoding : 自動変換させない
と指定すれば、
「無変換のパスに確度の高いエンコーディングをつけてを返す API を用意する」
は一応実現できます。


ちなみに、Windows ファイルパスを FS に渡した場合の動作の予定を書いておくと、
US-ASCII、ASCII-8BIT 及び Unicode 系 -> UTF-16LE にして Unicode API に渡す
locale -> ANSI API に渡す or UTF-16LE に変換してから Unicode API に渡す
それ以外 -> UTF-16LEに自動変換して Unicode API or 例外 or そのまま ANSI

問題はそれ以外で、
自動変換すると Microsoft CodePage 以外から変換するとマッピングの違いではまる可能性が
高いので MSCP でない場合か、または locale 以外では例外を出したいのですが、
それをやると Unix の場合で悲しい思いをするので悩ましく思っているところです。

-- 
NARUSE, Yui  <[e-mail]>