[ruby-dev:15368] Re: Regexp in UTF-8 (Re: Regexp literal and Regexp.new())

高橋征義です。

正規表現でのUTF-8問題ですが、リテラルの話に戻します。

UTF-8の正規表現リテラル中で、\x を使って文字を指定するのは、
「指定が間違ってる」ということのようですが、やっぱり何かの形
で8進または16進数をつかって文字を指定したい、ということはある
と思います(というか、あります)。

とはいえ、バイト単位で指定する、というのは、曲がりなりにも
「文字(codeunit, mbchar)」の概念を持つRubyのRegexpには馴染ま
ないかもしれない、という気もしてきました。
# でも、ちょっと迷ってます。

というわけで、Perl5.6.1のように \x{XXXX} という形でマルチバイト
な文字を指定できるようにする、というのはどうでしょう。これなら、
何バイトあっても大丈夫ですから。

……などと考えていたのですが、Perlの\x{XXXX}って、Unicode
というかUCSのcodepointを指定してるんですね……。つまり、
UTF-8でのバイト表現とは全然違うわけで。\x{XXXX}とかっていう
4桁の16進数が、UTF-8では6バイトになってしまう、と。むーん。
さりとて、これに合わせるような指定にすると、逆にEUCやShift_JISで
不幸になってしまいそうです。まあ、EUCやShift_JISではこういう
表記は禁止する、ベタで書け、という方向性もありですが(今までも
特に苦情はありませんでしたし)、それもちと切ない。

ちなみに、Pythonでは\uXXXXでU+XXXXのUnicode文字を指定するらしい
です(やっぱりベタでUTF-8のbyte sequenceを書いたりはしない)。
Javaもこうでしたっけ？  なお、UnicodeのTechnical Reportでは、
\uXXXXでUCS-2(BMP)を、\UXXXXXXXX でUCS-4を指定できる、とか
いうことが書いています(Perlのような書き方もアリ、という補足が
ついています)。


以上を踏まえて、Rubyの正規表現リテラルでマルチバイト文字を
表現するにはどうすればよいか考えてみました。以下、「XX」は
16進文字です。

a. /foobar/ を Regex.new("foobar")と近い形にする。つまり、
   \xXX で文字とは関係なく、1バイトの情報を表すことにする。
   マルチバイト文字を表現する場合には、\xXX\xXX\xXX などと
   いう形でバイト列を並べる。

b. Perl互換。つまり、\x{XXXX} でU+XXXXにあたるUnicode文字を
   指定する。Unicodeな正規表現(現状UTF-8のみ)以外では使え
   ない(エラー)？

c. 「\xはバイト列を指定・Unicode以外にもOK」+「Unicode文字の
   指定はPython/UTR互換」案。
   \x{XXXXXX} が1文字分のバイト表現を指定していることにする。
   (つまり、UCS-2のUnicode文字を指定する場合、UTF-8では
   最大6桁の16進数で指定することになる。)
   Unicodeのcodepointを指定する方法としては、\uXXXXとか
   \UXXXXXXXXみたいなものを別途用意する。\uと\UはUnicode
   な正規表現以外では使えない(エラー)？

d. 独自路線。「\xはバイト列を指定・Unicode以外にもOK」+
   「Unicode文字の指定はPerlとPython/UTRの折衷(？)」案。
   \x{XXXXXX} が1文字分のバイト表現を指定していることにする。
   Unicodeのcodepointを指定する方法としては、\u{XXXXXX}という
   表記法を別途用意する。\uはUnicodeな正規表現以外では
   使えない(エラー)？

b案で誰も困らないのであればそれでいいと思いますが、やっぱ
困りますよねえ。というわけでc案かな？  と思うのですが、
\uXXXXと\UXXXXXXXXを使い分けるのは何かと美しくないと思う
ので、d案も考えました。d案は独自仕様なのが気になりますが、
形としてはすっきりしていると思います。


追記: Ruby M17NのUTF-8文字列の中で、Unicode文字を指定するには
どうするか、っていう問題もありますね。

高橋征義 (TAKAHASHI Masayoshi)       Email:[e-mail]