[ruby-dev:24691] Re: 1.8.2 preview3?

MoonWolfです。

NARUSE, Yui wrote:
> もっとも、コード変換は原則として変換元も指定してください。
> 自動判定を使ってコード変換が行われているケースのうち、
> 9割は決めうちできるはずだと考えていますから。

iconvを使って各種エンコードの正規表現を作りました。
以下の正規表現マッチングで、かなりの部分が拾えると思います。
マッチングの順番が問題になるかもしれませんが(^_^;

Shift_JIS = /\A(?:
  [\x00-\x7f\xa1-\xdf]                                             |
  \x81[\x40-\x7e\x80-\xac\xb8-\xbf\xc8-\xce\xda-\xe8\xf0-\xf7\xfc] |
  \x82[\x4f-\x58\x60-\x79\x81-\x9a\x9f-\xf1]                       |
  \x83[\x40-\x7e\x80-\x96\x9f-\xb6\xbf-\xd6\x40-\x60]              |
  \x84[\x40-\x60\x70-\x7e\x80-\x91\x9f-\xbe\x9f-\xfc]              |
  [\x89-\x8f\x90-\x97\x99-\x9f\xe0-\xea][\x40-\x7e]                |
  [\x89-\x97\x99-\x9f\xe0-\xe9][\x80-\xfc]                         |
  \x98[\x40-\x72\x9f-\xfc]                                         |
  \xea[\x80-\xa4]
)*\z/nx
EUC_JP = /\A(?:
  [\x00-\x7f]                                             |
  \x8e        [\xa1-\xdf]                                 |
  \x8f        [\xa1-\xdf] [\xa1-\xdf]                     |
  [\xa1\xb0-\xbce\xd0-\xf3][\xa1-\xfe]                    |
  \xa2[\xa1-\xae\xba-\xc1\xca-\xd0\xdc-\xea\xf2-\xf9\xfe] |
  \xa3[\xb0-\xb9\xc1-\xda\xe1-\xfa]                       |
  \xa4[\xa1-\xf3]                                         |
  \xa5[\xa1-\xf6]                                         |
  \xa6[\xa1-\xb8\xc1-\xd8]                                |
  \xa7[\xa1-\xc1\xd1-\xf1]                                |
  \xa8[\xa1-\xc0]                                         |
  \xcf[\xa1-\xd3]                                         |
  \xf4[\xa1-\xa6]
)*\z/nx
UTF8  = /\A(?:\xef\xbb\xbf)?(?:
  [\x00-\x7f]                                                       |
  \xc2[\x80-\x8d\x90-\x9f\xa1\xaa\xac\xae-\xb1\xb4\xb6\xb8\xba\xbf] |
  \xc3[\x80-\xbf]                                                   |
  \xc4[\x80-\x93\x96-\xa2\xa4-\xab\xae-\xbf]                        |
  \xc5[\x80-\x8d\x90-\xbe]                                          |
  \xc7[\x8d-\x9c\xb5]                                               |
  \xcb[\x87\x98-\x9b\x9d]                                           |
  \xce[\x84-\x86\x88-\x8a\x8c\x8e-\xa1\xa3-\xbf]                    |
  \xcf[\x80-\x8e]                                                   |
  \xd0[\x81-\x8c\x8e-\xbf]                                          |
  \xd1[\x80-\x8f\x91-\x9f]                                          |
  \xe2\x84[\x83\x96\xa2\xab]                                        |
  \xe2\x86[\x83\x91-\x93\x96\xa2\xab]                               |
  \xe2\x87[\x83\x91-\x94\x96\xa2\xab]                               |

\xe2\x88[\x82-\x83\x87-\x88\x8b\x91-\x94\x96\x9a\x9d-\x9e\xa0\xa2\xa7-\xac\xb4-\xb5\xbd]
 |

\xe2\x89[\x82-\x83\x87-\x88\x8b\x91-\x94\x96\x9a\x9d-\x9e\xa0-\xa2\xa6-\xac\xb4-\xb5\xbd]
|

\xe2[\x8a\x8c][\x82-\x83\x86-\x88\x8b\x91-\x94\x96\x9a\x9d-\x9e\xa0-\xa2\xa5-\xac\xb4-\xb5\xbd]
|

\xe2[\x94-\x99][\x81-\x83\x86-\x88\x8b-\x8c\x8f-\x94\x96-\x98\x9a-\x9e\xa0-\xac\xaf-\xb0\xb3-\xb5\xb7-\xb8\xbb-\xbd\xbf]
|

\xe3\x80[\x81-\x83\x85-\x98\x9a-\x9e\xa0-\xad\xaf-\xb0\xb2-\xb5\xb7-\xb8\xbb-\xbd\xbf]
|
  \xe3[\x81-\x83\xb8-\xbf][\x81-\xbf]          |
  [\xe5-\xe7][\x80-\xbf][\x81-\xbf]            |
  \xe8[\x80-\xae\xb0-\xbf][\x81-\xbf]          |
  \xe9[\x80-\x92\x95-\xb1\xb3-\xbe][\x81-\xbf] |
  \xef[\xbc-\xbe][\x81-\xbf]
)*\z/nx

> たとえば、ブラウザから取得したデータの文字エンコーディングは、
> フォームのあったHTMLの文字エンコーディングと、
> ほぼ全てのブラウザで一致します。

たぶんSafariとかKonquerorとかiCabみたいなマイナーなブラウザあたりで問題
になるくらいでしょうね。
メジャーなブラウザでは問題はないと思います。