ruby-dev

斉藤です。

> http://www.geocities.jp/kosako1/に、
> onigd20040514.tar.gzを置きました。
>
> 主な変更点は、
> 1. UTF-16 BE, UTF-16 LEをサポート
> 2. Ruby 1.6/1.8への組込みはサポートしない
> です。

了解です。
サポート外ですし、Ruby 側の m17n 作業がまだ不透明なので
今のところ import はしないで置きます。要望などあれば
適宜連絡ください。


以下はご参考までに。

> 2.は、文字のバイト長が先頭バイトだけでは
> 判定できない文字コードにも対応するために
> mbclen()とismbchar()の実装を変更したので、
> mbclen(), ismbchar()の引数として
> char/unsigned char以外の型の値を渡している
> 場合には、正しく動かないためです。
>
> 実際には、x86の場合にはlittle endianなので、
> 動いてはいるようです。

MacOS X 10.3 (big endian) 上で CVS HEAD + 3.0.0 を make
したところ make test, test-all および oniguruma/test.rb
は通りました。なので日本語と UTF8 は OK なんじゃないです
かね(希望的観測)。
#試してみたい方は、oniguruma/MANIFEST-RUBY に書いてある
#全ファイルを ruby/ 直下にコピーしてビルドしてください。

あと、

> 但し、yylex()の中の変数のregister宣言を外さないと、
> VC++ではコンパイルエラーになりました。

これは gcc でも(警告が)出ます。parse.y 内の ismbchar(c)、
mbclen(c)、is_identchar(c) (中に mbclen がある) の引数を、
従来(unsigned char)(c) で受けていたのが、上に引用した
mbclen() の変更で (unsigned char *(&c)) と受けるように
なったからですね。
試してみる方は parse.y の yylex() にある register int c
から register を外すか、以下のいい加減な patch をあてて、
呼び出し時だけ別変数にコピーするようにしてください。

#register ってレジスタ割当てできない場合はエラーじゃなく
#無視するんじゃありませんでしたっけ。自信ないですけど。

Kazuo Saito <ksaito@uranus.dti.ne.jp>

Attachments (1)

parse.diff (2.19 KB, text/x-diff)

Index: parse.y
===================================================================
RCS file: /usr/local/cvs/ruby/src/ruby/parse.y,v
retrieving revision 1.322
diff -u -r1.322 parse.y
--- parse.y	7 May 2004 08:44:15 -0000	1.322
+++ parse.y	16 May 2004 15:34:52 -0000
@@ -3333,6 +3333,7 @@
 yylex()
 {
     register int c;
+    int mbc; /* a buffer for ismbchar(), mbclen() and is_identchar() */
     int space_seen = 0;
     int cmd_state;
 
@@ -3570,6 +3571,7 @@
 	    return '?';
 	}
 	c = nextc();
+	mbc = c; 
 	if (c == -1) {
 	    rb_compile_error("incomplete character syntax");
 	    return 0;
@@ -3606,7 +3608,7 @@
 	    lex_state = EXPR_TERNARY;
 	    return '?';
 	}
-	else if (ismbchar(c)) {
+	else if (ismbchar(mbc)) {
 	    rb_warn("multibyte character literal not supported yet; use ?\\%.3o", c);
 	    goto ternary;
 	}
@@ -4229,7 +4231,8 @@
 	switch (c) {
 	  case '_':		/* $_: last read line string */
 	    c = nextc();
-	    if (is_identchar(c)) {
+            mbc = c;
+	    if (is_identchar(mbc)) {
 		tokadd('$');
 		tokadd('_');
 		break;
@@ -4295,7 +4298,8 @@
 	    return tNTH_REF;
 
 	  default:
-	    if (!is_identchar(c)) {
+            mbc = c;
+	    if (!is_identchar(mbc)) {
 		pushback(c);
 		return '$';
 	    }
@@ -4320,7 +4324,8 @@
 		rb_compile_error("`@@%c' is not allowed as a class variable name", c);
 	    }
 	}
-	if (!is_identchar(c)) {
+        mbc = c;
+	if (!is_identchar(mbc)) {
 	    pushback(c);
 	    return '@';
 	}
@@ -4336,7 +4341,8 @@
 	break;
 
       default:
-	if (!is_identchar(c)) {
+        mbc = c;
+	if (!is_identchar(mbc)) {
 	    rb_compile_error("Invalid char `\\%03o' in expression", c);
 	    goto retry;
 	}
@@ -4345,10 +4351,11 @@
 	break;
     }
 
+    mbc = c;
     do {
 	tokadd(c);
-	if (ismbchar(c)) {
-	    int i, len = mbclen(c)-1;
+	if (ismbchar(mbc)) {
+	    int i, len = mbclen(mbc)-1;
 
 	    for (i = 0; i < len; i++) {
 		c = nextc();
@@ -4356,8 +4363,10 @@
 	    }
 	}
 	c = nextc();
-    } while (is_identchar(c));
-    if ((c == '!' || c == '?') && is_identchar(tok()[0]) && !peek('=')) {
+        mbc = c; 
+    } while (is_identchar(mbc));
+    mbc = tok()[0];
+    if ((c == '!' || c == '?') && is_identchar(mbc) && !peek('=')) {
 	tokadd(c);
     }
     else {

Thread

Prev Next

In This Thread

Prev Next