ruby-dev

In article <488BF0DF.5020208@airemix.jp>,
  "NARUSE, Yui" <naruse@airemix.jp> writes:

> Windows 上での Dir.open のデフォルトは、
> :external_encoding = UTF-8
> :internal_encoding = CP932
> なので、こちらが最も使用頻度の高い例でしょうか。
> デフォルトの設定を「使う」と言うのかどうかは微妙なところですが。

デフォルトの設定は「使う」とはいえないでしょう。

単にそういう変換がハードコードされていて、デフォルトでその変
換が動くとしても問題ないので、:internal_encoding というオプ
ションの存在意義にはなりません。

あと、Dir.open がデフォルトで Windows の Unicode な API を
(コード変換して) 使うのか、locale な API を使うのかはよくわ
かっていませんが、後者なら変換は不要でしょう。

> って、もしかして、田中さんの想定だと、Windows では、
> :external_encoding に locale を指定可能ってことになってます？
> :external_encoding の部分では欠落の発生する変換は
> 行わないつもりだったのですが、

いえ。[ruby-dev:35644] で尋ねて [ruby-dev:35652] で

| Windows では :external_encoding は Unicode 系のみですかね。

と答えていただいたので、たとえば UTF-8, UTF-16LE などは指定
可能だが、EUC-JP などは指定できないと想定しています。

> 試行錯誤したいときは :internal_encoding を使わなければいいですよね。
> そして、ここで使わずしてどこで使うんだという質問の回答は、
> デフォルト動作で使う、になります。

デフォルト動作の内部で使うというのは、ユーザが指定可能なオプ
ションの存在意義にはなりません。

> このあたりの問題はもとより Windows の A 系 API が持っている問題ですね。
> また、Windows においてはデフォルトでは locale の文字列を返し続けないと
> いけないでしょうから、逃れられない問題ともいえます。

ファイル名が文字列で、コード変換を行う限り、逃れられないのは
そう思います。

しかし、:internal_encoding で Ruby が変換を行うと、問題を把
握するのに Windows の知識と Ruby の知識の両方が必要になりま
す。:internal_encoding がなければ、Windows の知識だけで済み
ます。

Windows の資料は世の中にあるでしょうし、知っている人もそれな
りにいるでしょう。しかし、Ruby での変換に関する知識も、とな
ると、難易度がかなりあがるんじゃないでしょうか。

逃れられないからといって、困難にしていいとは思いません。

:internal_encoding の有用性が低いとすれば、そういう機能で問
題を困難にするのは間違っていると思います。

> この辺は transcode の失敗時のオプション拡張で多少は。

具体的にはどうするんでしょう?

たとえば、:internal_encoding => "ISO-8859-1" と指定した場合
で、「あいうえお」というファイル名に出会った時、どういう値を
返すんですか?

> このパッチだと、readdir が何を返すかに依存しますが、
> Windows 環境において UTF-16LE か locale かどちらかしか得られませんよね。

readdir が UTF-16LE でファイル名を返すのは無理じゃないですか?

Windows の Unicode ファイル名は現在扱われていませんので、
locale の場合しか扱っていません。Unicode ファイル名の実装は
後の話です。

> まとめると、以下の動作ができる必要があるーですかね。
>
> == デフォルト
> Windows: UTF-16LE -> locale 自動変換
> Unix: locale
>
> == 生
> Windows: UTF-8
> Unix: locale

これらのふたつは、[ruby-dev:35617] で述べた、ファイル名を文
字として正しく扱えるようにする責任が
* プログラムでなく、環境にある
* プログラム自身にある
というふたつの立場に対応するもので、必要ですし、重要です。

> == 強制指定
> Unix: 任意の encoding に force_encoding

これはとくに必要性が高いとは思っていません。
Unix では、あっても問題ないかもしれませんが。
-- 
[田中 哲][たなか あきら][Tanaka Akira]

Thread

Prev Next

In This Thread

Prev Next

[#35290] WeakRef#inspect について — keiju@... (Keiju ISHITSUKA)

[#35308] [Ruby 1.8 - Bug #214] (Open) $0に長い文字列を入れるとpsの出力に環境変数らしきものが出てくる — takeru sasaki <redmine@...>

[#35318] rb_during_gc — Masaki Suketa <masaki.suketa@...>

[#35333] [Ruby 1.8 - Bug #221] (Open) Net::SMTPでSMTPのHELO/EHLOにデフォルトで不正なホスト名を使用 — Anonymous <redmine@...>

[#35350] Re: [ruby-core:17491] [Ruby 1.8.7 - Bug #213] (Open) Different ERB behavior across versions — Urabe Shyouhei <shyouhei@...>

[#35355] リリース前ToDoリスト — Yukihiro Matsumoto <matz@...>

[#35369] fiber もどき for 1.8.x — "IWAMURO Motonori" <deenheart+ruby@...>

[#35372] patch for ruby-core:17472 — wanabe <s.wanabe@...>

[#35375] Re: [ruby-cvs:25121] Ruby:r17902 (ruby_1_8_6): * re.c (rb_reg_search): need to free allocated buffer in re_register. [ruby-core:17518] — Urabe Shyouhei <shyouhei@...>

[#35379] [Feature:1.9] rb_scan_args() for keyword arguments — Nobuyoshi Nakada <nobu@...>

[#35389] Re: [ruby-cvs:25164] Ruby:r17945 (trunk, ruby_1_8): * string.c (rb_str_succ): limit carrying in an alphanumeric region if — Yukihiro Matsumoto <matz@...>

[#35390] Re: [ruby-cvs:25170] Ruby:r17951 (trunk): * dir.c (Next): use rb_enc_precise_mbclen. — Tanaka Akira <akr@...>

[#35392] [Bug: 1.9] Block level with binding — SASADA Koichi <ko1@...>

[#35393] Ruby 1.9.1に含まれる機能について — "Yugui (Yuki Sonoda)" <yugui@...>

[#35395] Re: Ruby:r17955 (trunk): * lib/debug.rb, lib/profile.rb: fix to use RubyVM. — Kazuhiro NISHIYAMA <zn@...>

[#35396] cc always picks ruby/ruby.h on OS X — "Akinori MUSHA" <knu@...>

[#35400] [Ruby 1.9 - Bug #245] (Open) IPAddr#to_range raise ArgumentError — okkez _ <redmine@...>

[#35404] ruby_1_8_6/ruby_1_8_7ブランチのメンテナンスポリシーについて — "Shugo Maeda" <shugo@...>

[#35409] [Ruby 1.9 - Bug #250] (Open) tr で 全角数字が変換されません。 — Anonymous <redmine@...>

[#35410] [Ruby 1.9 - Bug #250] (Closed) tr で 全角数字が変換されません。 — Yui NARUSE <redmine@...>

[#35414] [Bug:1.9] $? is not thread scope — Tanaka Akira <akr@...>

[#35420] Re: [ruby-cvs:25212] Ruby:r17993 (trunk): * test/ruby/envutil.rb (assert_normal_exit): finish writing script — Tanaka Akira <akr@...>

[#35426] cgiのテストについて — Fujioka <fuj@...>

[#35441] Re: [ruby-core:17623] Re: We'll release 1.8.6/1.8.7 this Friday — Urabe Shyouhei <shyouhei@...>

[#35444] [Ruby 1.9 - Feature #17] (Closed) deadlock detection for 1.9 — Yusuke Endoh <redmine@...>

[#35446] [Bug:trunk] Thread#kill cannot break BLOCKING_REGION() on windows — "U.Nakamura" <usa@...>

[#35450] [BUG] cfp consistency error in Win32OLE — Masaki Suketa <masaki.suketa@...>

[#35458] make profiler for gc — authorNari <authornari@...>

[#35466] [Ruby 1.8 - Bug #269] (Open) OptionParser#environment requires shellwords — Takashi Tamura <redmine@...>

[#35471] [Bug: 1.9] lazy timer thraed creation — SASADA Koichi <ko1@...>

[#35480] 1.9.1 featureと1.9.0-3リリースプラン — "Yugui (Yuki Sonoda)" <yugui@...>

[#35481] [Ruby 1.9 - Bug #272] (Open) test_chdir failed when Dir.tmpdir is symlink — Kazuhiro NISHIYAMA <redmine@...>

[#35483] pack('i')の挙動...はたして何が期待されているのか — Urabe Shyouhei <shyouhei@...>

[#35484] Re: [ruby-core:17739] [Ruby 1.9 - Bug #256] (Open) defined?(Gem::RubyGemsVersion) behaves strange — wanabe <s.wanabe@...>

[#35489] [Ruby 1.8 - Bug #274] (Open) typo in net/smtp — Masao Takaku <redmine@...>

[#35533] [Bug:1.9] trap("INT", "p 1") causes ArgumentError — Tanaka Akira <akr@...>

[#35542] [Bug:1.9] sleep and Thread#run — Tanaka Akira <akr@...>

[#35545] Test::Unit -> miniunit — Kouhei Sutou <kou@...>

[#35554] [Ruby 1.9 - Bug #6] sprintf() of %f on Windows(MSVCRT) — Usaku NAKAMURA <redmine@...>

[#35555] [Ruby 1.9 - Bug #282] (Open) failure of test_asctime(TestTime) on mswin32 — Usaku NAKAMURA <redmine@...>

[#35566] rdoc defines Hash#method_missing — "Yusuke ENDOH" <mame@...>

[#35578] [Bug:1.9] context switch may occur during freeing io — "Yusuke ENDOH" <mame@...>

[#35596] ruby1.9 -n/-p and END{} — Nobuhiro IMAI <nov@...>

[#35597] [request]C APIの拡張 — "Goro Fuji" <g.psy.va@...>

[#35599] Readline::HISTORYの特異メソッドのrdocの書き方について — Takao Kouji <kouji@...7.net>

[#35605] Generator/Fiber (Re: Re: fiber もどき for 1.8.x) — "IWAMURO Motonori" <deenheart+ruby@...>

[#35610] SEGV by STDIN.gets(0,0) — Tanaka Akira <akr@...>

[#35615] more descriptive aliases of rb_str_new[2-5] (Re: [request]C APIの拡張) — Nobuyoshi Nakada <nobu@...>

[#35617] rb_filesystem_encoding on Unix — Tanaka Akira <akr@...>

[#35620] non-locale filename encoding — Tanaka Akira <akr@...>

[#35633] [Bug:1.9] File.grpowned?のテスト — Kazuhiro NISHIYAMA <zn@...>

[#35636] [Ruby 1.9 - Bug #354] (Open) Test failure test/ruby/test_transcode.rb — Martin Dürst <redmine@...>

[#35637] [Ruby 1.9 - Bug #355] (Open) ext/opensslのmakeが通らない — Anonymous <redmine@...>

[#35638] [Ruby 1.9 - Bug #356] (Open) test_flush(TestIONonblock): Errno::EBADF: Bad file descriptor — Kazuhiro NISHIYAMA <redmine@...>

[#35640] [Ruby 1.9 - Bug #354] (Assigned) Test failure test/ruby/test_transcode.rb — Yui NARUSE <redmine@...>

[#35641] [Ruby 1.9 - Bug #354] Test failure test/ruby/test_transcode.rb — Yui NARUSE <redmine@...>

[#35646] [Bug:1.9] Rinda has a race condition — "Yusuke ENDOH" <mame@...>

[#35647] [bug] cygwin: Windows styleのload pathが無効 — Nobuyoshi Nakada <nobu@...>

[#35648] [Bug:1.9] MingwでIO#dupがブロックする — wanabe <s.wanabe@...>

[#35649] PENDINGS.rb (Was: Re: [Ruby 1.9 - Bug #354] (Assigned) Test failure test/ruby/test_transcode.rb) — "Yusuke ENDOH" <mame@...>

[#35655] [Ruby 1.9 - Bug #354] (Closed) Test failure test/ruby/test_transcode.rb — Martin Dürst <redmine@...>

[#35657] [Ruby 1.9 - Bug #356] test_flush(TestIONonblock): Errno::EBADF: Bad file descriptor — Kazuhiro NISHIYAMA <redmine@...>

[#35666] [Ruby 1.8 - Bug #367] (Open) ruby_1_8のrssで3E — Kazuhiro NISHIYAMA <redmine@...>

[#35669] [Ruby 1.9 - Bug #368] (Open) 境界における Math.atanh 等の動作 — Yui NARUSE <redmine@...>

[#35673] fail to compile extension library in Cygwin (trunk r18249) — Masaki Suketa <masaki.suketa@...>

[#35680] char_casecmp in dir.c — Tanaka Akira <akr@...>

[#35681] [Ruby 1.9 - Bug #369] (Open) Ruby 1.9.0-3で R — Akira Matsuda <redmine@...>

[#35682] [Ruby 1.9 - Bug #369] Ruby 1.9.0-3で R — Akira Matsuda <redmine@...>

[#35683] [Ruby 1.8 - Bug #367] (Closed) ruby_1_8のrssで3E — Kouhei Sutou <redmine@...>

[#35684] [Ruby 1.9 - Bug #369] Ruby 1.9.0-3で R — Akira Matsuda <redmine@...>

[#35685] encoding of Dir#path — Tanaka Akira <akr@...>

[#35704] str.encode("utf-32le", :invalid=>:replace) — Tanaka Akira <akr@...>

[#35705] "\x80".force_encoding("utf-8").encode("utf-32be",:invalid=>:replace) — Tanaka Akira <akr@...>

[#35706] rdoc コマンドで定数の説明を処理できない — Takao Kouji <kouji@...7.net>

[ruby-dev:35668] Re: non-locale filename encoding

Thread

In This Thread

[#35409] [Ruby 1.9 - Bug #250] (Open) tr で全角数字が変換されません。 — Anonymous <redmine@...>

[#35410] [Ruby 1.9 - Bug #250] (Closed) tr で全角数字が変換されません。 — Yui NARUSE <redmine@...>