[ruby-dev:34934] Re: open() and encodings

まつもと ゆきひろです

In message "Re: [ruby-dev:34931] Re: open() and encodings"
    on Thu, 5 Jun 2008 07:16:24 +0900, "NARUSE, Yui" <[e-mail]> writes:

|> 「ファイルシステムのエンコーディング」って変換して渡せるほど
|> 信頼できるものなんでしょうか。変換ってのは間違ってると致命的
|> ですから。
|
|変換で間違えて読めないのは、実際はそこまで致命的ではないと思うのです。
|そのようなケースではどのみちどこかで変換したであろうはずで、
|この場合どこで変換しても注意深くしないと読めないものは読めないわけです。
|ならば、読めるものは楽に読めた方がいいであろうと。
|
|どちらかといえば気にしていたのは読めてはならないものを読めてしまう場合でしたが、
|こちらも結局変換が必要な場合における脅威は増減しないであろうという見解です。

ごめんなさい、おっしゃることがよくわかりませんでした。
成瀬さんのおっしゃる「読める」というのは、「人間に読める」と
いう意味なんでしょうか。そうだとすると私はそれはさほど重視し
ていなくて、むしろ「壊れていない」ことを重視したいところです。

変換、特に暗黙の変換が入ると、文字が変化する(正規化や多対多対
応など)可能性があり(まあ、この点について改めて成瀬さんに指摘
する必要はないのかもしれませんが)、そのような問題の発生を助長
しかねない仕様の導入にはとくに慎重であるべきだと考えます。

|こちらはUNIXにおけるデフォルトがlocaleでは適切とは言えない、
|ということでしょうか。

そうですね。それに基づいてファイル名の暗黙の変換が行われるの
であれば、間違っていると影響が非常に大きいのですが、localeは
そこまで信頼できる情報ではないでしょう。ただエンコーディング
タグを付けるだけであればそれほど不適切とは言えないでしょうが。

|と、すると、デフォルトは ASCII-8BIT あたりにして変換しない方がいいのですかねぇ。

他のところでも徹底されている「明示的に指定しない限り変換しな
い」というポリシーは維持したいところです。

|> えーと、IO.readなどの類推からいえば、まず
|> 
|>   open("filename", encoding: "EUC-JP:Shift_JIS")
|> 
|> の導入が先だろうと思います。で、internal_encodingなどに反対
|> するわけではありませんが、その場合にはopen_key_argsも同じオ
|> プションを受け付けるべきでしょうね。
|
|なるほど。
|そのように変更してみました。

パッチを読んでみました。

* Win32ではrb_filesystem_encoding()がrb_locale_encoding()になっ
  てますが、それはそれでいいんですか？

* 上にも書いた通り、明示的に指定しない限りパスのエンコーディ
  ングは変換してほしくありません。少なくともUNIX系OS上では。
  パスのエンコーディングがOSとして定義されているWindowsやOSX
  では、RubyがUTF-16を扱いにくいのでデフォルトでUTF-8 に変換
  することはアリだと思います。

* external_encoding, internal_encodingですが、改めて考えてみ
  ると、これだと現状ではできないexternal_encodingを指定せずに
  internal_encodingを指定することが可能ですよね。検証していな
  いんですが、ほかの場所でそのような組み合わせを想定していな
  いんで、ちゃんと動かないような。たぶん、internal_encoding
  だけが指定された時にはエラーになるべきなんだと思います。少
  なくともファイルの中身に関しては。

  ディレクトリに関してはファイルシステムのエンコーディングが
  決まっているOSでは問題ありませんが、決まらないOS(UNIX系)で
  はやはりエラーになるべきではないかと。

				まつもと ゆきひろ /:|)