ruby-dev

成瀬です。

> In<4CE77185.5080603@airemix.jp>
>    "[ruby-dev:42608] Re: [Ruby 1.9-Bug#3990][Closed] tests of rexml/rss reports many errors and failures without iconv" on Sat, 20 Nov 2010 15:58:16 +0900,
>    "NARUSE, Yui"<naruse@airemix.jp>  wrote:
> 
>>> 内部ではそれでもよいと思いますが、利用者がXML宣言のエンコー
>>> ディングを使いたいときに不便だと思っています。例えば、日本語っ
>>> ぽいものだけ扱い時にエンコーディングがShift_JISかEUC-JPか
>>> UTF-8以外のものは使わないとか、というケースを考えていました。
>>> このとき、利用者がいちいちREXMLから返されるエンコーディング
>>> を正規化して比較しなければいけないのは面倒だと考えています。
>>
>> そういう要求が出てくることまでは想像できますが、「日本語っぽいものだけ扱い時」
>> には、現状 UTF-8, Shift_JIS, Windows-31J, EUC-JP, CP51932, eucJP-ms を
>> 見ないといけないんですよね。
>>
>> 現実的にはエンコーディングで判定するよりも、そのニーズの場合、
>> XML 全体が CP932 に変換できるかで判定した方がベターだと思います。
> 
> 私はそのあたりはよくわからないのですが、CP932は日本語の全部
> の文字を含んでいるんでしたっけ？（EUC-JPとCP932を相互に変換
> しても欠落する情報がないかどうか）
> 
> 含んでいないのであれば、上記のエンコーディングかどうかを判断
> した方がよさそうな気がします。

EUC-JP から CP932 に変換すると、補助漢字が落ちますね。

しかし、わたしの知る限り「日本語っぽいものだけを扱いたい時」というのは、
(1) 日本語の文字だけを扱いたい
(2) 日本語しか想定していない処理がある
(3) 右から左に書くような文字やゼロ幅文字等を蹴りたい
くらいなので、その場合エンコーディングで判定するよりも、
内容で判定した方が妥当だと思っています。

一方で、特に理由無く日本語に限定したいというのならば、それはわざわざ
気遣うべき処理でも無いので、upcase なり Encoding.find なりを
使って頂いた方がよいでしょう。

>>> また、XML宣言で用いるエンコーディングと変換で用いるエンコーディ
>>> ングは同じものにするべきだと思っています。そうしないと、
>>> REXMLが出力したXMLをパースする他のXMLパーサが困ると思っていま
>>> す。XML宣言のエンコーディングがShift_JISなのにXMLの中に
>>> Shift_JISにはない文字が入ってしまうかもしれないということです
>>> よね？
>>
>> 「他のXMLパーサ」のためにまさにこれが必要なのです。
>>
>> Windows の API、kernel32 の MultiByteToWideChar や、Mlang.dll の
>> ConvertINetString、.NET Framework の Encoding は"Shift_JIS" を
>> 与えると Windows-31J として、"EUC-JP" を与えると CP51932 として解釈します。
>>
>> なので、これらの API を使う XML パーサを送信する時は、Ruby 側では
>> XML 宣言で用いるエンコーディングと、変換で用いるエンコーディングを
>> 変える必要があります。
> 
> .NET FrameworkのXMLパーサ以外は困らないのでしょうか？
> REXMLは.NET Frameworkの実装に合わせるよりはXMLの仕様に合わせ
> るべきだと思っています。
> （XMLパーサじゃなくてSGMLパーサとかならどっちでもいいや、と
> 思いますが。）

.NET Framework だけでなく、Win32API や IE の MLang を使っている XML パーサです。
Web 系は MS 実装にあわせているので、Gecko や WebKit もそうですかね。

また、常に変えるわけではなく「変えられるようにする」なので、
MS の実装にあわせるわけでもありません。

>> この辺と先の XML 宣言で用いるエンコーディング名を複合的に踏んじゃったのが、
>> 例えばJava などから Windows 向けの XML をどうやって書き出すか、というお話です。
>> http://www.artonx.org/diary/20050614.html
>> http://d.hatena.ne.jp/Kazzz/20050614/p1
> 
> 「Javaと.NETのXMLパーサの挙動の違いではまらないようにするに
> はUTF-8を使おうね」ということのように読めました。

UTF-8 でいいじゃんという割り切り路線だと、当初のわたしの
「他のエンコーディングのために互換性を壊すべきではないので revert すべき」
と主張に帰着するかと思います。

-- 
NARUSE, Yui  <naruse@airemix.jp>

Thread

Prev Next

In This Thread

Prev Next

[#42508] [Ruby 1.9-Bug#4013][Open] rake/test_tasks.rb fails if ENV assined test value — Akio Tajima <redmine@...>

[#42509] memory usage of test-all — SASADA Koichi <ko1@...>

[#42520] GC issues — SASADA Koichi <ko1@...>

[#42522] Proposal: thread local freelist — SASADA Koichi <ko1@...>

[#42523] [Ruby 1.9-Bug#4019][Open] root fiber allows double resume — Yusuke Endoh <redmine@...>

[#42524] [Ruby 1.9-Bug#4020][Open] Fiber#initialize causes memory leaks — Yusuke Endoh <redmine@...>

[#42527] Finalizer behaviour — SASADA Koichi <ko1@...>

[#42538] [Ruby 1.9-Bug#4024][Open] IO#readlines(0) never return — Tomoyuki Chikanaga <redmine@...>

[#42540] [Ruby 1.9-Bug#4027][Open] Signal.trap で busy loop に陥る — Tomoyuki Chikanaga <redmine@...>

[#42541] [Ruby 1.9-Bug#4027] Signal.trap で busy loop に陥る — Tomoyuki Chikanaga <redmine@...>

[#42545] [Ruby 1.9-Bug#4027] Signal.trap で busy loop に陥る — Tomoyuki Chikanaga <redmine@...>

[#42546] [Ruby 1.9-Bug#4033][Open] Segmentation fault : ext/openssl:OpenSSL::X509::StoreContext#cleanup — Ippei Obayashi <redmine@...>

[#42550] [Ruby 1.9-Bug#3674] dRuby サーバプロセスを停止する時に時間がかかることがある — Yui NARUSE <redmine@...>

[#42551] [Ruby 1.9-Bug#4034][Open] format() の %a 指定子での丸めが常に零方向になっている — tadayoshi funaba <redmine@...>

[#42552] [Ruby 1.9-Bug#4035][Open] format() の %a 指定子で幅指定が正しく機能しないことがある — tadayoshi funaba <redmine@...>

[#42560] [Ruby 1.9-Bug#4027] Signal.trap で busy loop に陥る — Tomoyuki Chikanaga <redmine@...>

[#42561] [Ruby 1.9-Bug#4027] Signal.trap で busy loop に陥る — Tomoyuki Chikanaga <redmine@...>

[#42563] [Ruby 1.9-Bug#4027] Signal.trap で busy loop に陥る — Tomoyuki Chikanaga <redmine@...>

[#42564] [Ruby 1.9-Feature#4043][Open] グローバル関数current_classの提案 — Makoto Kishimoto <redmine@...>

[#42565] r29741 以降 Mac OS X 10.6 でビルド失敗 — nagachika <nagachika00@...>

[#42567] [Ruby 1.9-Bug#4045][Assigned] build error on mswin — Usaku NAKAMURA <redmine@...>

[#42573] [Ruby 1.9-Bug#4055][Open] segfault in OpenSSL::SSLSocket#cert — Ippei Obayashi <redmine@...>

[#42575] Fwd: Modules twice — SASADA Koichi <ko1@...>

[#42577] Rubyのバグレポートのガイドライン — "Shota Fukumori (sora_h)" <sorah@...>

[#42578] [Ruby 1.9-Bug#3674] dRuby サーバプロセスを停止する時に時間がかかることがある — Tomoyuki Chikanaga <redmine@...>

[#42579] [Ruby 1.9-Bug#4061][Open] char class may cause memory leak — Yusuke Endoh <redmine@...>

[#42583] [Ruby 1.8-Backport#3954] Digest::Base に無引数の initialize を定義しませんか？ — Shyouhei Urabe <redmine@...>

[#42584] [Ruby 1.8-Backport#3954] Digest::Base に無引数の initialize を定義しませんか？ — Akinori MUSHA <redmine@...>

[#42585] [Ruby 1.8-Backport#3954][Assigned] Digest::Base に無引数の initialize を定義しませんか？ — Akinori MUSHA <redmine@...>

[#42586] [Ruby 1.9-Backport#3954] Digest::Base に無引数の initialize を定義しませんか？ — Shyouhei Urabe <redmine@...>

[#42599] Re: [ruby-cvs:37021] Ruby:r29827 (trunk): * lib/rexml/formatters/pretty.rb (REXML::Formatters::Pretty#wrap): — "NARUSE, Yui" <naruse@...>

[#42601] [Ruby 1.9-Bug#4072][Open] dRubyで作成したサーバプログラムがsleepしていてもexitしてしまう — 三村 益隆 <redmine@...>

[#42615] [Ruby 1.9-Bug#4078][Open] format() の %a 指定で 不要な小数点が印字されることがある — tadayoshi funaba <redmine@...>

[#42622] JIS意見受付公告 — Shugo Maeda <shugo@...>

[#42624] Planning to release 1.8.7 fixes on 12/25 (Japanese timezone) — Urabe Shyouhei <shyouhei@...>

[#42625] [Ruby 1.9-Feature#4089][Open] Add addr2line for C level backtrace — Yui NARUSE <redmine@...>

[#42631] [Ruby 1.9-Bug#4090][Open] Time::new に時差を与えたとき、正しい日付が得られない事がある — tadayoshi funaba <redmine@...>

[#42633] [Ruby 1.9-Bug#4092] r29946 でビルドが通らない — Shota Fukumori <redmine@...>

[#42634] [Ruby 1.9-Bug#4092][Open] r29946 でビルドが通らない — Shota Fukumori <redmine@...>

[#42638] Enumerable#categorize — Tanaka Akira <akr@...>

[#42655] [Ruby 1.9-Feature#4096][Open] Follow .gnu_debuglink section. — Shinichiro Hamaji <redmine@...>

[#42656] [Request for Comment] avoid timer thread — SASADA Koichi <ko1@...>

[#42661] (mswin32) fix port used in test/socket — arton <artonx@...>

[ruby-dev:42611] Re: [Ruby 1.9-Bug#3990][Closed] tests of rexml/rss reports many errors and failures without iconv

Thread

In This Thread

[#42601] [Ruby 1.9-Bug#4072][Open] dRubyで作成したサーバプログラムがsleepしていてもexitしてしまう — 三村益隆 <redmine@...>

[#42615] [Ruby 1.9-Bug#4078][Open] format() の %a 指定で不要な小数点が印字されることがある — tadayoshi funaba <redmine@...>