From: Nobuyoshi Nakada <nobu@...>
Date: 2011-06-12T19:34:08+09:00
Subject: [ruby-dev:43771] Re: [Ruby 1.9 - Bug #4544] 	Ripperで「:"a \n b \n 	c"」を正常にパースできない

なかだです。

At Sun, 12 Jun 2011 09:18:46 +0900,
Masaya Tarui wrote in [ruby-dev:43762]:
> このチケットの原因になってる 、yylex でdelayed_tokenをdispatchするコード(parse.y:7855)の直後のreturnを
> r24557([Bug #1071])で削除していますが、
> 	ripper_dispatch_delayed_token(parser, t);
> 	ripper_dispatch_scan_event(parser, t);
> と実行される可能性があるのは違和感を感じます。
> 
> そもそもこのif文に入るのはどういう場合を想定していたんでしょう？

ちょっと思い出せませんが、樽家さんの修正で不要になるようです。

> patchをhere document部分のripperコードを参考に書いてみましたが、
> 想定がわからないのでyylexの部分は触ってません。
> 自信はないのでレビューしてもらえませんでしょうか？(中田さん？)

> +           rb_str_append(parser->delayed,
> +                         STR_NEW3(parser->tokp,
> +                                  lex_p - parser->tokp,
> +                                  enc,
> +                                  func));

新しくStringを作ってappendしなくても、rb_enc_str_buf_cat()という
のがあります。


diff --git i/parse.y w/parse.y
index 06f96ce..60e5a3b 100644
--- i/parse.y
+++ w/parse.y
@@ -5984,6 +5984,18 @@ parser_parse_string(struct parser_params *parser, NODE *quote)
 
     tokfix();
     set_yylval_str(STR_NEW3(tok(), toklen(), enc, func));
+
+#ifdef RIPPER
+    if (!NIL_P(parser->delayed)){
+	ptrdiff_t len = lex_p - parser->tokp;
+	if (len > 0) {
+	    rb_enc_str_buf_cat(parser->delayed, parser->tokp, len, enc);
+	}
+	ripper_dispatch_delayed_token(parser, tSTRING_CONTENT);
+	parser->tokp = lex_p;
+    }
+#endif
+
     return tSTRING_CONTENT;
 }
 
@@ -7853,6 +7865,7 @@ yylex(void *p)
 #ifdef RIPPER
     if (!NIL_P(parser->delayed)) {
 	ripper_dispatch_delayed_token(parser, t);
+	return t;
     }
     if (t != 0)
 	ripper_dispatch_scan_event(parser, t);
diff --git i/test/ripper/test_scanner_events.rb w/test/ripper/test_scanner_events.rb
index 25e4b13..d89e50e 100644
--- i/test/ripper/test_scanner_events.rb
+++ w/test/ripper/test_scanner_events.rb
@@ -67,10 +67,17 @@ class TestRipper::ScannerEvents < Test::Unit::TestCase
                   [[3, 0], :on_heredoc_end, "EOS"]],
                  Ripper.lex("<<EOS\nheredoc\nEOS")
     assert_equal [[[1, 0], :on_regexp_beg, "/"],
-                  [[1, 1], :on_tstring_content, "foo\n"],
-                  [[2, 0], :on_tstring_content, "bar"],
+                  [[1, 1], :on_tstring_content, "foo\nbar"],
                   [[2, 3], :on_regexp_end, "/"]],
                  Ripper.lex("/foo\nbar/")
+    assert_equal [[[1, 0], :on_regexp_beg, "/"],
+                  [[1, 1], :on_tstring_content, "foo\n\u3020"],
+                  [[2, 3], :on_regexp_end, "/"]],
+                 Ripper.lex("/foo\n\u3020/")
+    assert_equal [[[1, 0], :on_tstring_beg, "'"],
+                  [[1, 1], :on_tstring_content, "foo\n\xe3\x80\xa0"],
+                  [[2, 3], :on_tstring_end, "'"]],
+                 Ripper.lex("'foo\n\xe3\x80\xa0'")
   end
 
   def test_location
@@ -534,6 +541,10 @@ class TestRipper::ScannerEvents < Test::Unit::TestCase
                  scan('tstring_content', '"abc#{1}def"')
     assert_equal ['sym'],
                  scan('tstring_content', ':"sym"')
+    assert_equal ['a b c'],
+                 scan('tstring_content', ':"a b c"')
+    assert_equal ["a\nb\nc"],
+                 scan('tstring_content', ":'a\nb\nc'")
   end
 
   def test_tstring_end


-- 
--- 僕の前にBugはない。
--- 僕の後ろにBugはできる。
    中田 伸悦