[ruby-dev:13907] m17n ruby 特に TRON 文字コード

まつもと ゆきひろです

In message "[ruby-dev:13905] m17n ruby 特に TRON 文字コード"
    on 01/07/17, "TOYOFUKU Chikanobu" <[e-mail]> writes:

|  私もちょっとかじった程度しか知らないのですが、私の認識では
|・２バイト単位。
|・２バイトの言語面指定コードがくると言語面が切り替わる。
|・２バイトの文字コードは現在の言語面での文字を表す。
|・いわゆる半角／全角コードの概念はない。単に同じ文字を半角幅で
|  表示するか全角幅で表示するかの違いでしかない。
|です。
|  ですから１文字コード毎に前に言語指定コードをつけるようにして
|表現すればステートレス？になるのだと思ってます。（つまり１文字
|につき４バイト）

ふむむ。そうすると読み込んだ後に明示的にステートレスにする処
理が必要ですね(自動変換はしないポリシー)。まあ、それはあるも
のだと仮定して、ステートレスになった文字列を対象にするとしま
しょう。

|> 目標としては、若干のCコードを書けばたいていのコード系を使える
|> ようにというのがあります。
|
|  どういうコードを書けばよいのですか。

ruby_m17nブランチの中身をみてもらう(m17n.cとか)のが一番速い
のですが、それぞれのエンコーディングに対して

  m17n_encoding_mbmaxlen(enc,n)         マルチバイト文字の最大長
  m17n_encoding_asciicompat(enc,n)      ASCIIコンパチか
  m17n_encoding_func_strlen(enc,func)   文字列長
  m17n_encoding_func_mbclen(enc,func)   あるバイトに続く長さ
  m17n_encoding_func_codelen(enc,func)  あるコードポイントが占める長さ
  m17n_encoding_func_mbcspan(enc,func)  あるバイト列が占める長さ
  m17n_encoding_func_islead(enc,func)   マルチバイト文字の1バイト目か
  m17n_encoding_func_nth(enc,func)      n番目の文字の位置
  m17n_encoding_func_ctype(enc,func)    文字タイプ判定
  m17n_encoding_func_toupper(enc,func)  大文字化
  m17n_encoding_func_tolower(enc,func)  小文字化
  m17n_encoding_func_codepoint(enc,func)マルチバイト文字のコードポイント
  m17n_encoding_func_firstbyte(enc,func)コードポイントの先頭バイト
  m17n_encoding_func_mbcput(enc,func)   コードポイントのマルチバイト化

を定義する事ができます。他の全ての文字列処理がこれらを使って
定義されています。ASCIIコンパチだとASCIIの手続きを流用できる
のでラクできるのですが、TRONコードの場合きっと難しいでしょう
ね。

Citrusみたいに状態を外部に持てばステートフルなコードも処理で
きる可能性が増えますが、正直なところそこまでにすることにまだ
抵抗があります。

ところでUTF-16ではバイトオーダーマークでそのファイルがUTF-16
であることを判定できますが、TRONコードにはなんらかの方法でそ
のような判定をする方法があるんですかね。

                                まつもと ゆきひろ /:|)