[ruby-dev:35328] Re: Win32 Unicode console output

成瀬です。

Tietew wrote:
> C:\...> ruby -e'puts "\u{3042 2603}".encode("utf-16le")'
> とかやると何も出ませんね。
> すでにワイド文字列になっているのを MultiByteToWideChar にかけてもサポー
> トしていないみたいです。

む、そうなのですか。

> あと、当然ですが
> 
> C:\...>ruby -e'puts "あいうえお".encode("EUC-JP")'
> 、「、、、ヲ、ィ、ェ
> 
> こんなのもだめですね。やはりここは trascode の仕組みを使った方がよいので
> はないかと思います。

これは仕様のつもりだったのですが、うーん、どうなんだろう。
Windows に限っては、以下ができちゃうのもアリかなぁ、とも思い始めてきました。
他の環境との兼ね合いを考えると迷いもありますが。

> ruby19 -e'print"\u{2603}";print"\xA9".force_encoding("iso-8859-1");
  print"\xa4\xa2\xa4\xa4".force_encoding
("eucjp")'
[雪ダルマ][Copyright]あい

> (今のところ全文字セットは UTF-16LE に変換できますよね？)

いえ、変換できるものを数えたほうが早くて、
ISO 8859 シリーズと日本語、韓国語、UTF-8, UTF-{16,32}{BE,LE} だけです。
中国系、台湾系、タイ、ウクライナあたりは無理ですね、あと UTF-7 も。
メジャーなところだと ASCII-8BIT が無理です。

> あとは入力系、ReadConsoleInputW() と GetCommandLineW() か…
> -EUTF-8 とかで起動された場合に限って使用する、とか制御しないと駄目ですよ
> ねやっぱ。

まさか、Windows のコマンドプロンプトで、
locale と異なる文字列を生で打つ勇者はいないと思うんですが、
  ruby19 -EEUC-JP -e'puts"\xa4\xa2"' > foo.txt
のようにエスケープしてだとないとも言い切れませんかねぇ。

>> Vista64 でも大丈夫だと、あと知りたいのは Win9x ですかね。
> 
> Win98SE で実行しようとしたのですが、VS2008 でコンパイルしたら
> -----
> ファイルには新しいバージョンの Windows が必要です。
> Windows をアップグレードしてください。
> -----
> とか言われて実行できませんでした。ってかそんなエラーを出す機能あったんだ。
> 
> VC++6 どこに仕舞ったんだっけ……

VC++6 で作ると動くのですかねぇ・・・？


以下、transcode を用いたパッチです。

Index: include/ruby/encoding.h
===================================================================
--- include/ruby/encoding.h	(revision 17818)
+++ include/ruby/encoding.h	(working copy)
@@ -192,6 +192,7 @@
     return ENC_DUMMY_P(ENC_FROM_ENCODING(enc));
 }

+int rb_transcode_convertible(const char* from_encoding, const char* to_encoding);
 VALUE rb_str_transcode(VALUE str, VALUE to);

 #endif /* RUBY_ENCODING_H */
Index: include/ruby/win32.h
===================================================================
--- include/ruby/win32.h	(revision 17818)
+++ include/ruby/win32.h	(working copy)
@@ -547,6 +547,7 @@
 int  rb_w32_fclose(FILE*);
 size_t rb_w32_read(int, void *, size_t);
 size_t rb_w32_write(int, const void *, size_t);
+long rb_console_write_unicode(unsigned long, int);
 int  rb_w32_utime(const char *, const struct utimbuf *);
 int  WINAPI rb_w32_Sleep(unsigned long msec);
 int  rb_w32_wait_events_blocking(HANDLE *events, int num, DWORD timeout);
Index: io.c
===================================================================
--- io.c	(revision 17818)
+++ io.c	(working copy)
@@ -14,6 +14,7 @@
 #include "ruby/ruby.h"
 #include "ruby/io.h"
 #include "ruby/signal.h"
+#include "ruby/win32.h"
 #include "vm_core.h"
 #include <ctype.h>
 #include <errno.h>
@@ -689,6 +690,11 @@
 {
     long len, n, r, l, offset = 0;

+#ifdef _WIN32
+    len = rb_console_write_unicode(str, fptr->fd);
+    if (len >= 0) return len;
+#endif
+
     /*
      * If an external encoding was specified and it differs from
      * the strings encoding then we must transcode before writing.
Index: transcode.c
===================================================================
--- transcode.c	(revision 17818)
+++ transcode.c	(working copy)
@@ -119,6 +119,14 @@
     return (rb_transcoder *)val;
 }

+/*
+ * experimental.
+ */
+int
+rb_transcode_convertible(const char* from_encoding, const char* to_encoding)
+{
+    return transcode_dispatch(from_encoding, to_encoding) ? TRUE : FALSE;
+}

 /*
  *  Transcoding engine logic
Index: win32/win32.c
===================================================================
--- win32/win32.c	(revision 17818)
+++ win32/win32.c	(working copy)
@@ -12,6 +12,7 @@

 #include "ruby/ruby.h"
 #include "ruby/signal.h"
+#include "ruby/encoding.h"
 #include "dln.h"
 #include <fcntl.h>
 #include <process.h>
@@ -3933,6 +3934,28 @@
 	return rb_w32_send(fd, buf, size, 0);
 }

+long
+rb_console_write_unicode(VALUE str, int fd)
+{
+    static int disable;
+    HANDLE handle;
+    DWORD dwMode, reslen;
+
+    if (disable) return -1L;
+
+    handle = (HANDLE)_osfhnd(fd);
+    if (!GetConsoleMode(handle, &dwMode))
+	return -1L;
+
+    str = rb_str_transcode(str, rb_str_new2("UTF-16LE"));
+    if (!WriteConsoleW(handle, (LPWSTR)RSTRING_PTR(str), RSTRING_LEN(str)/2, &reslen, NULL)) {
+	if (GetLastError() == ERROR_CALL_NOT_IMPLEMENTED)
+	    disable = TRUE;
+	return -1L;
+    }
+    return (long)reslen;
+}
+
 static int
 unixtime_to_filetime(time_t time, FILETIME *ft)
 {


-- 
NARUSE, Yui  <[e-mail]>