[ruby-dev:40863] Re: revert 1.9 \w limitation to ASCII

(2010/03/30 22:37), Yukihiro Matsumoto wrote:
> まつもと ゆきひろです
> 
> \dが[0-9]に変更されたときに、同時に \w もASCIIの範囲に限定さ
> れましたが、これは 1.8 との大きな非互換性になりそうです。EUC
> やSJISにおいては、1.8同様、非ASCIIの文字は \w に含むべきでは
> ないでしょうか。また、Unicodeにおいては、キャラクタデータベー
> スがあるので、Unicode的にキャラクタなものを対象にするのが良い
> と思います。

「大きな非互換性になりそうです」というのは何か具体的なフィードバックが
背景にあると思っているのですが、どのようなフィードバックでしょうか。


まず、EUC や SJIS に対してのものだと仮定します。

この場合、「EUC や SJIS」とは具体的には何かということが問題になるでしょう。
Shift_JIS, Windows-31J, EUC-JP, CP51932, eucJP-ms あたりは
当然含まれるとして、絵文字系 SJIS なんかも含まれるのでしょうかね。
もっと進めると、CP949 とか EUC-CN とかは、1.8 では SJIS/EUC で扱っていた
可能性が考えられますが、これはどうするのでしょう。

また、EUC と SJIS 系のみというのは一貫性に欠けます。
利便性のためなら一貫性を欠くこともいとわないのが Ruby の姿勢ではありますが、
日本語系だけというのは正直いかがなものかと思います。
というわけで、この方向で行くならば、non ASCII non Unicode の場合は、
に変えた方がいいように感じます。


次に、Unicode、というか UTF8 に対してのものだと仮定します。ここで、
> Unicodeにおいては、キャラクタデータベー
> スがあるので、Unicode的にキャラクタなものを対象にするのが良い
> と思います。
を採用すると、すぐには気づきづらいが実際に問題が出るという、
厄介な互換性問題を組み入れることになります。

というのも、後に他の言語での \w の中身を出していますが、普通はこの
「Unicode的にキャラクタなもの」は記号の類を含みません。
ちなみに、Bug #3047 は一足早くそれを期待してがっかりしている例です。
http://redmine.ruby-lang.org/issues/show/3047

1.9 で \w を「Unicode的にキャラクタなもの」にするとこの逆、
具体的には今までマッチしていた一部の文字がマッチしなくなります。
これは non ASCII が全てマッチしなくなる (けどすぐに気づく)
現在の実装よりたちが悪いのではないでしょうか。
つまり、互換性が理由ならばこの案は無いと思うのです。


まとめると、互換性が理由ならばエンコーディングに限らず、
(とは言っても non dummy encoding になりますが)
[a-zA-Z_0-9] + non ASCII (= /[a-zA-Z_0-9\P{ASCII}]/) が正解でしょう。
Ruby の文法的にもこれは識別子に使える名前と一致するので意味が
なきにしもあらずであるようには思います。


なお、互換性とは別に書きやすさの面で \w で単語構成文字っぽいのに
マッチして欲しいという主張ならば別の議論で、以下のような感じになりますか。
1. \w だけ特別扱いしたい
2. \w だけ Unicode は気持ち悪い
2a. [:word:] 使ってよ
2b. \d と \s も Unicode 志向に戻そうぜ


= Ruby 1.8
ASCII: [a-zA-Z_0-9]
SJIS/EUC/UTF8: [a-zA-Z_0-9] + non ASCII

= Java
[a-zA-Z_0-9]
http://java.sun.com/j2se/1.5.0/docs/api/java/util/regex/Pattern.html

= .NET
[\p{Ll}\p{Lu}\p{Lt}\p{Lo}\p{Nd}\p{Pc}]
http://msdn.microsoft.com/en-us/library/20bw873z(VS.71).aspx

= Perl
たぶん UTS #18 に準じる
http://search.cpan.org/~jesse/perl-5.12.0-RC1/pod/perlunicode.pod
http://www.unicode.org/reports/tr18/

= Python
たぶん Perl と同じ
http://docs.python.org/py3k/library/re.html?highlight=regex

-- 
NARUSE, Yui  <[e-mail]>