[ruby-list:33818] Re: NET:HTTP get2 のエラー回避

あおきです。

  In mail "[ruby-list:33785] NET:HTTP get2 のエラー回避"
    Takashi Hoshizawa <[e-mail]> wrote:

> 星澤といいます。
> 
> NET:HTTP の get2 を使って、web robot に似たシステムを作成した
> ところ、かなりの数のサイトで、アクセス時に例外が発生しました。
> 下記のテストプログラムを実行すると、以下のような結果になります。
> いずれも、IEやNetscapeであれば、正常に表示されます。
> 回避策について、御存知の方がいれば、ぜひ教えて下さい。

挙げられていたサイトにアクセスしてみたのですが、いまはいろんな
他のエラーも出るようになっています。何回かやってみた感じだと、
単純に混んでるのも原因みたいです。とりあえずタイムアウトはもう
すこし長めにしておいたほうがいいでしょう。

ただそれとは別に、サーバが EOF を待っているようなフシがあります。
添付のパッチを net/http.rb にあてて

  header['Connection'] = 'close'

を試してみてください。うまくいくようであれば取りこみます。


また今回のこととは直接は関係ないのですが

>   http = Net::HTTP.new(host, port)
>   Net::HTTP.version_1_2
>   http.open_timeout = 10
>   http.start
>   
>   http.read_timeout = 60

 (1) version_1_x は new した後では効果がない
 (2) タイムアウトの設定は start した後では効果がない

ので、

    Net::HTTP.version_1_2
    http = Net::HTTP.new(host, port)
    http.open_timeout = 10
    http.read_timeout = 60
    http.start

この順序にしておいてください。version_1_x は require した直後に
呼んでしまうのがおすすめです。(2) のタイムアウトの設定のほうは、
よくよく考えると start の後でも設定は変えられるべきだと思うので、
そのように修正します。
-------------------------------------------------------------------
青木峰郎

--- http.rb.org	Fri Feb  8 21:23:57 2002
+++ http.rb	Fri Feb  8 21:39:45 2002
@@ -975,6 +975,9 @@
         check_arg_n body
         sendreq_no_body sock, ver, path
       end
+      # temporary hack
+      sock.socket.close_write if /close/i === self['connection'].to_s
+
       @response = r = get_response( sock )
       r
     end