[ruby-dev:37088] Re: [Feature #747] /\A/u ignores BOM

　小西弘将です。

なかむら（う）さん。ありがとうございます。

2BYTE Unicodeの下りは手元に試料がなかった物でUTF-32などと区別を付けたか
ったため適当に書いていました。混乱させてしまい済みません。

大体分かってきたような気がします。普通にopenで読み込んだ場合は2.(=A)なの
ですね。でStringオブジェクトに変換した場合は、エンコーディングを持つ(B)
と。
やはり、正規表現を使うのであれば、Bの状態でBOMを付けない方が良いと思いま
す。あえてAの状態で先頭マッチを行う場合でも、「文字列」という本義を考え
るとBOMまでマッチさせるのには違和感を感じます。

>こんにちは、なかむら(う)です。
>
>In message "[ruby-dev:37086] Re: [Feature #747] /\A/u ignores BOM"
>    on Nov.13,2008 17:32:25, <[e-mail]> wrote:
>> [ruby-dev:32981]の方も読んでみて、今の状況がよくわからなかったので質問さ
>> せてください。現時点でRuby-1.9系は2BYTE Unicodeの文字列を読み込んだ場
>> 合、どのような内部表現となるのでしょうか。
>
>すみません、2BYTE Unicodeってなんでしょう?
>
>A:
>仮にUCS-2を(リトルエンディアンなりビッグエンディアンなりで)そ
>のまま吐き出したもの、のことだとすると、そのようなエンコーデ
>ィングはRubyではサポートされないので、単なるバイナリ列として
>扱うしかありません。
>そういう意味では「2.」です。
>
>B:
>とはいえ、おそらくそのようなデータはUTF-16LEなりUTF-16BEなり
>として解釈可能でしょうから、ユーザがそのように指定すればその
>ように解釈されて読み込まれます。
>その際、読み込まれた文字列の内部形式はやっぱりユーザ指定によ
>るのでどうなるかはスクリプト依存ですが、無変換で読み込まれた
>ならば、内部形式自体はそのままです。
>ただし、1.9のStringは自分のエンコーディングを知っていますから、
>上記Aの場合と異なり、「単なるバイナリ列」ではありません。
>
>
>> 3は、全く想像がつきませんが、1の立場をとるのであればBOMは内部表現として
>> 不要ですし、逆に2.の立場であれば、必要ですのでBOMが内部表現に入っていな
>> いのは不自然に映ります。
>
>というわけで、元のデータの意味とその読ませ方によります。
>Aの場合はBOM(に限らず全てのデータ)を特別扱いする理由は存在し
>ません。
>Bの場合はエンコーディングは判明しているのでBOMは不要ですね(あ
>ってはいけないという意味ではない)。
>
>
>それでは。
>-- 
>U.Nakamura <[e-mail]>