[ruby-dev:35664] Re: non-locale filename encoding

成瀬です。

Tanaka Akira wrote:
> ふむ、CP51932 ですか。使用頻度が低そうですね。
> もっと普通の人が使いそうな例ってありますか?

Windows 上での Dir.open のデフォルトは、
:external_encoding = UTF-8
:internal_encoding = CP932
なので、こちらが最も使用頻度の高い例でしょうか。
デフォルトの設定を「使う」と言うのかどうかは微妙なところですが。

って、もしかして、田中さんの想定だと、Windows では、
:external_encoding に locale を指定可能ってことになってます？
:external_encoding の部分では欠落の発生する変換は
行わないつもりだったのですが、

> しかし、やはり :internal_encoding を削除したほうがいいと思い
> ます。
> 
> まず、unix で :internal_encoding を使って変換すると、ファイ
> ル名としてのバイト列が壊れて、open 等の操作が出来なくなりま
> す。以前、[ruby-dev:34933] で
> 
> | ファイル名で一番重要なのは、ファイルを同定できるという性質で
> | はないでしょうか。ファイル名を読めるというのはその次にくる性
> | 質だと思います。
> 
> と書きましたが、:internal_encoding を使うと、ファイルを同定
> できなくなります。これは許し難い性質です。

ファイルのパスがバイト列である Unix では、
そのような操作は極力使いづらくするべき、という主張ですよね。
理解はできます。

> また windows でも、指定するエンコーディングによって問題があっ
> たりなかったりするということがあります。生のファイル名と指定
> したエンコーディングとの変換で round trip するかどうかが問題
> ですが、これは知っていないと判断が困難です。しかも、知らない
> ひとが試行錯誤して調べてみようと思っても、:internal_encoding
> を使うと、変換元の文字列を確認できませんから、試行錯誤するこ
> と自体が困難です。
> 
> このような問題を考えると :internal_encoding に相当することを
> やりたければ、Dir 自体じゃなくて、Dir を使う側が
> String#encode で行うというのがいいんじゃないでしょうか。

試行錯誤したいときは :internal_encoding を使わなければいいですよね。
そして、ここで使わずしてどこで使うんだという質問の回答は、
デフォルト動作で使う、になります。

このあたりの問題はもとより Windows の A 系 API が持っている問題ですね。
また、Windows においてはデフォルトでは locale の文字列を返し続けないと
いけないでしょうから、逃れられない問題ともいえます。

> あと、変換に失敗したときにファイル名が失われる、という点もあ
> ります。Dir#read 内で、readdir(3) に成功した後に変換を行うた
> め、そこで例外が起きれば readdir が返したファイル名が失われ
> ます。

この辺は transcode の失敗時のオプション拡張で多少は。

> こうすれば、呼び出した側は、変換元の文字列を知ることができ、
> 変換で何が起こるのかを調べることが出来ます。また、変換に害が
> あることを知って、変換せずにファイル名を使うようになれば、
> unix でも windows でも動作するプログラムが書けるようになりま
> す。
> 
> というわけで、パッチを書いてみました。
> 
> なお、Dir.open のところで (unix 上でも) パスを変換することが
> あって、Dir.open 出来るべきものが出来ないことがあったので、
> そこも削除してあります。

このパッチだと、readdir が何を返すかに依存しますが、
Windows 環境において UTF-16LE か locale かどちらかしか得られませんよね。


まとめると、以下の動作ができる必要があるーですかね。

== デフォルト
Windows: UTF-16LE -> locale 自動変換
Unix: locale

== 生
Windows: UTF-8
Unix: locale

== 強制指定
Unix: 任意の encoding に force_encoding



-- 
NARUSE, Yui  <[e-mail]>