[ruby-dev:11396] Re: Ruby I18N

まつもと ゆきひろです

In message "[ruby-dev:11393] Re: Ruby I18N"
    on 00/11/07, "たけ(tk)" <[e-mail]> writes:

|　Ruby（本体）では特定の文字コード系にとらわれない、という視点でつらつら
|想像してみました。

面白い考察をありがとうございます。私の考えも述べておきます。

|  【文字コード系の機能的分類】
|
|  スクリプト言語の実装における文字コード系は次のように分類される。
|
|  （１）Ruby 本体が扱う文字コード系

         「ない」ということで賛成です。

|  （２）処理モジュールが扱う文字コード系

         「それぞれによる」ということで賛成です。というか、
         この用語を使うなら「処理モジュール」こそが文字コー
         ド系の定義になるんですよね。

|  （３）処理系の（デフォルトの）文字コード系

         「コンパイル時に指定」で賛成です。ただし、デフォル
         トは「NONE」になるでしょう。

|  （４）プラットフォームで表示可能な文字コード系

         Rubyは表示しません。ですから、この文字コード系は存
         在しません。ありえるのは「(7)入出力データの文字コー
         ド系」だけです。ただし、この入出力にはストリーム入
         出力だけでなく、APIへの引数や戻り値となる文字列も含
         みます。

|  （５）処理系の内部コード（処理モジュールが処理する内部コード）

         これ(2)と重複してますよね。

|  （６）スクリプト記述の文字コード系  「-Ks」

         実は「-Ks」ではファイル毎に指定できないので不十分だ
         と考えています。通常はあまり問題ないんですが、ライ
         ブラリはSJISで記述されてるが、実際にはEUCを処理した
         いというニーズはあります。また、-Kにはファイル毎に
         指定できないこと以外にも

           * スクリプトの文字コード系
           * 実行時の文字コード系

         の両方を一度に指定してしまうという点があり、独立し
         て指定したい場合にも対応できた方が望ましいと思いま
         す。が、どうやって指定するのか現状ではアイディアは
         まったくありません(えへん)。

|  （７）入出力データの文字コード系

         基本的にはそのままです。たけさんの文章では『ＸＭＬ
         流のタグ「&#123456;」（Unicode）、 「&M123456;」
         （文字鏡）』というような上位のレイヤーに含まれると
         思われる記述があるのが気になります。そういうものな
         んですか？

         私はRubyにおける文字列というのは基本的に(マルチ)バ
         イト列だと考えるのですが、「XML流のタグ」というのは
         マルチバイト表現に含めるのでしょうか？

         ま、それはともかく、「そのまま」を選択する以上、考
         える必要があるのは以下の点だと思います。

           * 入力されたバイト列をどの「処理モジュール」と関
             連づけるか

             IOに明示的に「処理モジュール」を指定するか(line
             discipline)、-K で指定するデフォルトになるのが
             スジだと思います(で処理系のデフォルトはnoneつま
             りただのバイト列)。また、無変換のバイト文字列か
             ら処理モジュールが付加された文字列への道筋も定
             義すべきでしょう。

           * 出力されるバイト列を変換するか

             原則的にはしなくても良いと思います(入力されたそ
             のままだから)。が、IOに明示的に変換を指定する
             (line discipline)はあっても良いと思います。

|  （８）文字列における文字コード系

         よく分からないのですが、文字列にはかならず「処理モ
         ジュール」が指定されているはずで、文字コード系はそ
         の「処理モジュール」によって規定されるのでしょう。

         ただ、この「処理モジュール」という用語はなんか不適
         切な気がします。名前は難しい。

|  （９）文字(Fuxnum)として取り出したときの文字コード系

         私は上位ビットで元の文字コード系を保存すると言うア
         イディアには少なくとも現時点ではあまり賛成していま
         せん。理由は

           * ニーズがいまいち不明

           * ISO10646は最大31ビットを使う

           * 文字コード系のIDを一意に振るのはだれが行うのか？
             それが127個を越える場合には？

          というものです。特に後者はRuby 2.0での導入を避けた
          いと考えているポリシーの導入につながると思います。

というところで私の考えは明確になりましたでしょうか？

                                まつもと ゆきひろ /:|)