[ruby-dev:11470] Proposal of "Array of CharCode"

たけ(tk)です。

》「文字列とは文字コードの配列＋αである」

　１６ビットを越える大きな文字コード系の内部データは、４バイトプレーンな
文字コードそのままにするのがいいのではないか、という提案です。

（１）Regexp.c を見ていたんですが、Regexp の内部のリストではＭＢＣを４バ
イトプレーンな文字コードで保存している。（SROTE_MBC、RESTORE_MBC マクロ
参照）。

（２）Ruby で様々な文字コード系に対応するとしても、そのエンコーディング
の多様性まで認めると、エンコーディングに従った文字コード取りだしルーティ
ンを事前に用意するか、何らかの方法でその char_code_type クラスのメソッド
を呼び出して「文字コード取り出し」を依頼しなければならなくなる。もし
、Ruby スクリプトによる文字コード系クラス（CharCodeType）の追加の可能性
を認めるなら、Regexp のＣ言語のルーティンから Ruby のインターフェースを
通して、実際にはＣ言語で書かれた CharCodeType クラスの処理を呼び出す。そ
れも１文字毎に行うということになりかねない。

（３）４バイトプレーンな文字コードの配列であれば、Regexp で元の文字列を
取り出すのは、PATFETCH マクロの様であるが、

#define PATFETCH(c)							\
  do {if (p == pend) goto end_of_pattern;				\
    c = (unsigned char) *p++; 						\
    if (TRANSLATE_P()) c = (unsigned char)translate[c];	\
  } while (0)

この部分を

#define PATFETCH(c)						
  do {if (p >= pend) goto end_of_pattern;			
    c = (INT32) *p++; 
    if (c < 0x100) if (TRANSLATE_P()) c = (unsigned char)translate[c];
  } while (0)

に変えるだけで、「とりあえずの文字コード取り出し」は終了してしまう。

（４）パターンマッチングは通常は ASCII、SJIS、EUC といった小さな文字コー
ド系で十分だと思われるが、呼び出し側の Ruby インターフェース（re.c）で、
必要な場合にだけ regexp.convert_to( CharCodeType_Bigsize )を行って 
Regexp.c の関数に処理を行わせればよい。

−−

　Regexp.c の全体像がつかめていないので、甘いとは思いますが・・、

たけ(tk)　[e-mail]
http://member.nifty.ne.jp/take_tk