From: "U.Nakamura" <usa@...>
Date: 2008-09-25T07:12:02+09:00
Subject: [ruby-dev:36537] Re: Encoding.default_internal   のためのパッチ

こんにちは、なかむら(う)です。

In message "[ruby-dev:36533] Re: Encoding.default_internal   のためのパッチ"
    on Sep.25,2008 06:19:21, <matz@ruby-lang.org> wrote:
| 個人的には「UTF-16→UTF-8→UTF-16」モデルで十分であり、かつ
| ASCII互換問題を回避できることの嬉しさの方が大きいと思っている
| のですが(正規表現とかも比較的自然に使えるようになるし)、いや、
| それでもUTF-16をそのまま変換なしに扱える方が良いのだというこ
| とであれば、ぜひ指摘してください。

あんまりこういうことを言うのは好きではないのですが、実行速度
のロスが馬鹿になりません。
100MBのUTF-16LEなテキストから正規表現マッチで必要な行を抜き出
すという処理を行っていたのですが、UTF-8への変換を経由すること
によって実行時間がおよそ倍になりました。
(UTF-16LEのままで2分程度、UTF-8経由で4分程度)
実際には100MBでの試行結果を元に数十GBのテキストに対して同等の
処理を行ったのですが、これをUTF-8経由でやっていたらと思うとぞ
っとします。

UTF-16LEな正規表現オブジェクトの生成についてはencodeをかます
必要があるわけで確かにあんまり自然じゃないですが、だから生成
できない方がマシというほど不自然とは思っていません。主観です
けど。


それでは。
-- 
U.Nakamura <usa@garbagecollect.jp>