[ruby-list:34298] Re: 多種多様の文字コードに対応するには？

高橋征義です。

"井上 浩一" <[e-mail]> wrote:
> ここで疑問に思うのは、WEBで入力される文字コードは、JIS／SJIS／EUC/UTF-8など
> さまざまなコードで入力されますが、この$KCODEというものは、内部文字処理を限定
> する＝（例えば入力部でSJISで来ようが、
> Ruby処理中は $KCODEで指定した文字コードで処理される）ということでしょうか？

いいえ、$KCODEはそういうものではないです。
どちらかというとその逆で、文字列や正規表現の文字コードを
$KCODEで指定しているものと仮定して処理する、という感じです。

> 私は心配で、
> 
> require 'kconv'
> 
> $KCODE = "e"
> 
> class String
>   mojihen = self.toeuc  # SJISで入力されてとして
>   def han2zen
>     NKF::nkf( '-EeX -m0', mojihen) # 出力コードは、EUC_JPで、半角が全角に置
> き換わる
>   end
> end
> 
> print "*パソコン*結構です".han2zen  # WEBでSJISの文字が入力されたと仮定
> 
> 
> としますが、この処理は不要で $KCODE="e"とすれば、どんな文字コードでも対処で
> きる強力なおまじないでしょうか？

いいえ、この場合、$KCODEはぜんぜん強力じゃないです。
というか、上の例だと$KCODEの指定は不要ですね。

なお、UTF-8が来ないことを仮定すれば、

class String
  def han2zen
    NKF::nkf( '-eX -m0', self)
  end
end

とすれば、

str = shift_jis_string.han2zen

で str に全角化されたEUC-JPの文字列が入ります(たぶん。文字列が
短すぎる場合にはうまくいかないこともあります)。

> こういう多種多様な文字コードを一元的に扱えるライブラリがRubyの標準で存在して
> いれば、悩まないですむと思います。

えーと、そういう問題だけでもないような。
「WEBで入力される文字コードは、JIS／SJIS／EUC/UTF-8など
さまざまなコードで入力され」る以上、それらを判別しなければならない
のですが、確実に判別できる方法は提供されてなかったんじゃなかった
でしょうか？
となると自動判別の必要がありますが、UTF-8の場合も含めた自動判別は
それなりに難しそうです。

とはいえ、UTF-8にも対応できるnkfみたいなもの、というものの
需要はそれなりにありそうですね。

高橋征義 (TAKAHASHI Masayoshi)   E-mail: [e-mail]