ruby-list

森山と申します。

S_Konno(今野 滋) wrote:
> iconvによる文字コード変換に関する質問です。
> 海外のwebpageの文字コードをユニコードに変換する際、直接のコマンド
> 
> `curl http://www.xinhuanet.com/ | iconv -f GB2312 -t UTF-8`
> 
> では、変換に成功するのですが、

glibc 2.3.4 の iconv(1) ではエラーになります。

GB2312 に機種依存文字が追加されていてそれを使っているのか、GBK もしくは
GB18030 のページにも関わらず charset=gb2312 としているのではないでしょうか?

変換エラーになっている最初の文字は、"\xf1\x62" で、GBK や GB18030 から
UTF-8 への変換ではエラーになりませんでした。

$ printf "\xf1\x62" | iconv -f gb2312 -t utf-8 | od -tx1
iconv: 位置 0 で不正な入力シーケンスがありました
0000000
$ printf "\xf1\x62" | iconv -f gbk -t utf-8 | od -tx1
0000000 e9 a6 bc
0000003
$ printf "\xf1\x62" | iconv -f gb18030 -t utf-8 | od -tx1
0000000 e9 a6 bc
0000003

GBK は GB2312 の拡張
GB18030 は GBK の拡張

となっていたと思いますので、GB18030 で変換すると良いのでは?

--
森山 将之 <msyk@mtg.biglobe.ne.jp>

Thread

Prev Next

In This Thread

Prev Next

[#43970] 次の1.8.6 — Urabe Shyouhei <shyouhei@...>

[#43973] [ANN] るびま読書会#5 — cuzic <cuzic@...>

[#43976] [ANN] Rubyロゴコンテスト — Shugo Maeda <shugo@...>

[#43979] File.joinなどの引数の暗黙の型変換について — NISHI Takao <zophos@...9.com>

[#43980] MacOS X で irb が走らない — "Hideo Konami" <konami@...>

[#43987] オンラインマニュアル→[最近の更新] →「Sort alphabetically] — take_tk <ggb03124@...>

[#43995] スレッドの終了を知る — 大木 聡 <s-ooki@...>

[#43996] ある日付の最終時刻の求め方 (秒単位) — SATOH Fumiyasu <fumiyas@...>

[#44008] Re: Array#combinationのライセンスについて（） — Yoshiyuki Uehara <yuehara@...>

[#44011] [ANN] RubyConf 2007 Registration is Open — Masayoshi Takahashi <takahashi@...>

[#44012] p + Array#collect — arton <artonx@...>

[#44019] [ANN] Rails勉強会@東京 第22回のおしらせ — "MOROHASHI Kyosuke" <moronatural@...>

[#44024] [ANN] Ruby勉強会＠札幌第5回（運営：Ruby 札幌） — "SHIMADA Koji" <snoozer.05@...>

[#44025] iconvの多言語対応状況に関する質問 — "S_Konno(今野 滋)" <sk@...>

[#44029] Rails勉強会@東北第4回のお知らせ — 片平 裕市 <yuichi_katahira@...>

[#44030] (再)Rails勉強会@東北第4回のお知らせ — 片平 裕市 <yuichi_katahira@...>

[#44032] rubyインストールガイドMacOSX更新しました⇒MacPortsでのrubyインストール:Tkを有効に — "S_Konno(今野 滋)" <sk@...>

[#44035] [ANN] RSS Parser 0.2.0 — Kouhei Sutou <kou@...>

[#44037] スコープについての質問 — "142QN4969@..." <ohrsts@...>

[#44041] [ANN] 第19回 Ruby/Rails勉強会＠関西（運営：Ruby 関西） — "shoko.m" <shoko-m@...>

[#44042] SUZAKU 3.0 for Windows — Takashi Hoshizawa <t_hoshizawa@...>

[#44044] ApacheでVirtual hostを使わない設定でRailsを動かしたい — "paptimusx scirocco" <paptimusx@...>

[#44047] ウエブカム制御 — Masahiro Utsumi <utsumi@...>

[#44049] Re: Welcome to our (ruby mailing list) You are added automatically — Yoichi Hatanaka <hatanaka.yoichi@...>

[#44052] 3rdRailが起動しません。 — nqk14807@...

[#44053] SUZAKU 3.0 for Linux — Takashi Hoshizawa <t_hoshizawa@...>

[#44054] Ruby 1.8.5-p113 released. — Urabe Shyouhei <shyouhei@...>

[#44055] Ruby 1.8.6-p110 released. — Urabe Shyouhei <shyouhei@...>

[#44056] install ri data (was Re: Ruby 1.8.6-p110 released.) — Takahiro Kambe <taca@...>

[#44057] Rubyを使った家電向けプラットフォームのデモ — Hidetaka Takano <hidetaka.takano@...>

[#44058] 3rdRailが起動しなかった件について — nqk14807@...

[#44063] [ANN] Rubyist Magazine 0021 — SASADA Koichi <ko1@...>

[ruby-list:44028] Re: iconvの多言語対応状況に関する質問

Thread

In This Thread

[#43995] スレッドの終了を知る — 大木　聡 <s-ooki@...>

[#44019] [ANN] Rails勉強会@東京第22回のおしらせ — "MOROHASHI Kyosuke" <moronatural@...>

[#44025] iconvの多言語対応状況に関する質問 — "S_Konno(今野滋)" <sk@...>

[#44029] Rails勉強会@東北第4回のお知らせ — 片平裕市 <yuichi_katahira@...>

[#44030] (再)Rails勉強会@東北第4回のお知らせ — 片平裕市 <yuichi_katahira@...>

[#44032] rubyインストールガイドMacOSX更新しました⇒MacPortsでのrubyインストール:Tkを有効に — "S_Konno(今野滋)" <sk@...>