[ruby-dev:8311] Re: [ruby-list:18316] Re: [book] csv_split2

これつぐです。


少し前の話ですが。

[ruby-list:18316] Re: [book] csv_split2
> まつもと ゆきひろです

> というか、String#scanとm//gの挙動の違いが原因のようです。
> scanの方は空パターンにマッチすると、無限ループになることを避
> けるために、1文字分ポインタを移動させます。ですから、次のマッ
> チは先頭からではなく、「"z"」の先頭に対して行われ、結果とし
> て(マッチしない)"z"の部分は無視されます。
> 
> ところがPerlの方ではどういうわけかポインタは進まず、より長い
> マッチが選択されるようです。この動作原理は良く分かりませんが、
> このルールが明確にできればRubyの方でも合わせることはできると
> 思います。どういうルールなんだろう？ m//gが正規表現と一体化
> しているがゆえにできることなんだろうか？

まつもとさんもすでに見たと思いますが、
perlre によると zero-length match のあとの zero-length match を禁止し、
その代わりに( zero-length でない) the second best match が使われるようです。

--- perlre
       The higher level-loops preserve an additional state
       between iterations: whether the last match was zero-
       length.  To break the loop, the following match after a
       zero-length match is prohibited to have a length of zero.
       This prohibition interacts with backtracking (see the
       section on "Backtracking"), and so the second best match
       is chosen if the best match is of zero length.

       For example:

           $_ = 'bar';
           s/\w??/<$&>/g;

       results in `"<><b><><a><><r><>"'.  At each position of the
       string the best match given by non-greedy `??' is the
       zero-length match, and the second best match is what is
       matched by `\w'.  Thus zero-length matches alternate with
       one-character-long matches.
---

確認のために上記の例を Ruby と Perl でやってみました。
(あえて Perl 風に書いています)

$ perl -le '$_ = "bar"; s/\w??/<$&>/g; print'
<><b><><a><><r><>
$ ruby -le '$_ = "bar"; gsub(/\w??/,"<\\&>"); print'
<>b<>a<>r<>


で、
肝心の動作原理については、
私は C が読めない人なのではっきりとはわかりませんが、
ここが怪しいのではないかと思います。

--- regexec.c
STATIC I32			/* 0 failure, 1 success */
S_regmatch(pTHX_ regnode *prog)

-- 中略

	case END:

-- 中略

	    if (locinput < PL_regtill) {
		DEBUG_r(PerlIO_printf(Perl_debug_log,
				      "%sMatch possible, but length=%ld is smaller than requested=%ld, failing!%s\n",
				      PL_colors[4],
				      (long)(locinput - PL_reg_starttry),
				      (long)(PL_regtill - PL_reg_starttry),
				      PL_colors[5]));
		sayNO_FINAL;		/* Cannot match: too short. */
	    }
---

これを私は
「match に成功しても上記条件のときには失敗と扱う」
と理解しましたが……?