[ruby-dev:18974] Re: [ONIGURUMA] \S doesn't match multibyte char (Re: [ruby-list:36618] Re: 全角文字に挟まれた半角スペースを削除するには？)

[e-mail]さんの
<[e-mail]>から
> > str.gsub!(/([^ ]) +(?=([^ ]))/) {
> >   $1.size > 1 && $2.size > 1 ? $1 : $&
> > }
> 
> Onigurumaではこのパターンがマッチしません。
> /\S\s/,/\S\S\s/,/\S{2}\s/でも同様ですが、/\S+\s/や/.\S\s/などに
> はマッチします。ある程度対象文字列が長くないと発生しないようで
> す(?)。

直りました。
一部の文字クラスに対して、最適化情報の生成に間違いがありました。
(対象文字列が７バイト以上ない場合、最適化情報を使用しないように
しているので、短いときには発生しませんでした。)

この数日間の一連の修正を反映した最新版を、
ftp.ruby-lang.orgの中に先程アップロードしました。

glibcにマルチバイト(国際化だったかな？)正規表現ライブラリが組み込まれた
らしいので、Ruby M17Nでも、そちらが使えるようならそのほうが良いかもねー。
見てないので、中身は知りませんけど。


--- regcomp.c.orig	Fri Nov 29 13:24:14 2002
+++ regcomp.c	Sat Nov 30 14:38:04 2002
@@ -599,6 +599,31 @@ wc2mb_buf(WCInt wc, UChar **bufs, UChar 
 }
 #endif /* not REG_RUBY_M17N */
 
+static int
+bitset_mbmaxlen(BitSetRef bs, int negative, RegCharEncoding enc)
+{
+  int i;
+  int len, maxlen = 0;
+
+  if (negative) {
+    for (i = 0; i < SINGLE_BYTE_SIZE; i++) {
+      if (! BITSET_AT(bs, i)) {
+	len = mblen(enc, i);
+	if (len > maxlen) maxlen = len;
+      }
+    }
+  }
+  else {
+    for (i = 0; i < SINGLE_BYTE_SIZE; i++) {
+      if (BITSET_AT(bs, i)) {
+	len = mblen(enc, i);
+	if (len > maxlen) maxlen = len;
+      }
+    }
+  }
+  return maxlen;
+}
+
 /* used as function pointer value */
 static int
 is_code_ascii(RegCharEncoding code, UChar c) { return IS_CODE_ASCII(code, c); }
@@ -5008,7 +5033,7 @@ set_exact_info_node(regex_t* reg, OptBuf
       }
 
       if (IS_NULL(cc->mbuf))
-	len = 1;
+	len = bitset_mbmaxlen(cc->bs, cc->not, obuf->code);
       else
 	len = mbmaxlen_dist(obuf->code);
 
@@ -5558,7 +5583,7 @@ set_map_info_node(OptBuf* obuf, MapBuf* 
       mapbuf_update_better(best, &curr);
 
       if (IS_NULL(cc->mbuf))
-	len = 1;
+	len = bitset_mbmaxlen(cc->bs, cc->not, obuf->code);
       else
 	len = mbmaxlen_dist(obuf->code);
 
--
小迫＠ソフネック   渋谷区恵比寿1-15-1