[ruby-list:32687] Re: XMLParser(expat) bug with UTF-16LE & CR+LF

高橋征義です。

Yoshida Masato <[e-mail]> wrote:
> > ・XMLParserでUTF-16LE&CR+LFの文書をファイルオブジェクトの形で
> >   parseすると落ちる(原因はexpat？)。
> 
> expat みたいです。以下のプログラムでも落ちてしまいます。

そっか、expatそのもので検証すればよかったですね……。

> 文字列の終端を飛び越えてしまうようです。

なるほどです。どうもありがとうございました(_o_)

# 「while (ptr != end) { 」というループは他にもいくつかある
# みたいですけど、大丈夫なんでしょうか。

> > ・その前に、XMLParserの「getsメソッドがあるオブジェクトの場合、
> >   行ごとに読み込んでparseする」という仕様は、素朴に行なうと
> >   UTF-16 Little-Endian の場合に(16bitの)コードユニットを分断して
> >   しまうことになるが、それは構わないのか構うのか？  構うなら
> >   どうするべきか？
> 
> expat は(今回のバグが無ければ)コードユニットが分断してもパー
> スできるはずです。1 バイトずつパースしても問題ないはず。
> 
> ちょっと気持ち悪いのは確かです。でも read で固定バイトを読ん
> でも，サロゲートペアの分断が起こる可能性はありますよね。

ま、それはそうなんですけどね。あるいは、バイト数固定で
Shift_JISやEUC-JPを読んでも、やっぱり途中でぶち切れるわけ
ですし。

ShibuRUGの席でも、getsの仕様も含めて話をふってみたところ、
「Rubyの文字列はバイト列なんだから、16bit単位の文字列を
扱う際に何が起きても当たり前」「そもそも『\n\000』なんて
改行コードを持つUTF-16(LE)が反則」(意訳)みたいな話になって
しまいました(;_;)  いや、たしかにこれもその通りなんですが。

とりあえずの(現状のRubyでの)結論としては、「分断が起きた
ために正しく処理されないのは問題なので、善し悪しはともかく
分断されてもちゃんと動くようにする」というところでしょうか。

高橋征義 (TAKAHASHI Masayoshi)   E-mail: [e-mail]