[ruby-dev:16015] Re: making net/*.rb grok URI

In article <[e-mail]>,
  [e-mail] writes:

> URI.openでは。

そりゃそうですね。そうしましょう。

でも、Kernel#open の修正にも惹かれるものがあります。open-uri.rb とか別
のファイルがいいのかな。

というわけで適当に作ってみました。
# 難しいところは実装してませんが。

  URI.open("http://www.ruby-lang.org/en/index.html") {|f|
    f.each_line {|line| p line}
    p f.content_type
    p f.content_encoding
    p f.last_modified
  }

というように使えます。

uri/open.rb というように新しいファイルを作るか、あるいは
uri/generic.rb, uri/http.rb, uri/ftp.rb あたりに分けるか、どっちがいい
かはよくわかりません。あと、つい StringIO を使ってしまったので、当然
StringIO が本体に入るまでは本体には入れられません。StringIO を使うとこ
ろを外すということはできますが。rough の uri に入れるかどうかは... や
まださんの意見を聞きたいところです。

少し使って思ったのですが、StringIO と IO で共通に使える size/length と
いうメソッドが欲しいです。中身はそれぞれ self.string.size と
self.stat.size でいいんですが、今は polymorphic に使えるものがありませ
ん。

あと、IO#truncate (とむろん StringIO#truncate)がないことにも気がつきま
した。ftruncate は SUSv2 にもありますから、あってもいいんじゃないかと
思います。これがないとバッファを切り詰められません。

require 'uri'
require 'stringio'
require 'tempfile'

module URI
  def URI.open(uri, *rest, &block)
    uri = URI.parse(uri) if String === uri
    uri.open(*rest, &block)
  end

  def URI.find_proxy(uri)
    name = uri.scheme + '_proxy'
    if proxy_uri = ENV[name] || ENV[name.upcase]
      proxy_uri = URI.parse(proxy_uri)
      name = 'no_proxy'
      if no_proxy = ENV[name] || ENV[name.upcase]
        no_proxy.scan(/([^:,]*)(?::(\d+))?/) {|host, port|
	  if /(\A|\.)#{Regexp.quote host}\z/i =~ proxy_uri.host &&
	     (!port || uri.port == port.to_i)
	    proxy_uri = nil
	    break
	  end
	}
      end
      proxy_uri
    else
      nil
    end
  end

  class HTTP
    def open(&block)
      Buf.open(lambda {|buf|
	require 'net/http'

	if proxy_uri = URI.find_proxy(self)
	  klass = Net::HTTP.Proxy(proxy_uri.host, proxy_uri.port)
	else
	  klass = Net::HTTP
	end

	resp = nil
	klass.start(self.host, self.port) {|http|
	  header = {}
	  resp, = http.get(self.request_uri, header, buf)
	}

	# If Redirection 3xx ...
	# If 401 Unauthorized ...

	unless resp.code == '200'
	  raise StandardError.new("HTTP fetch failed")
	end

	buf.stream.extend HTTPInfo
	buf.stream.init_httpinfo(resp)
      },
      &block)
    end
  end

  class FTP
    def open(&block)
      Buf.open(lambda {|buf|
	if proxy_uri = URI.find_proxy(uri)
	  require 'net/http'

	  resp = nil
	  Net::HTTP.start(proxy_uri.host, proxy_uri.port) {|http|
	    resp, = http.get(uri.to_s, nil, buf)
	  }

	  buf.stream.extend HTTPInfo
	  buf.stream.init_httpinfo(resp)
	else
	  require 'net/ftp'

	  # xxx: extract user/passwd from .netrc.
	  user = 'anonymous'
	  passwd = nil
	  if uri.userinfo
	    user, passwd = uri.userinfo.split(/:/)
	  end

	  ftp = Net::FTP.open(uri.host)
	  ftp.login(user, passwd)
	  ftp.getbinaryfile(uri.path, '/dev/null', Net::FTP::DEFAULT_BLOCKSIZE,
	    lambda {|data| buf << data})
	  ftp.close
	end
      },
      &block)
    end
  end

  module HTTPInfo
    def init_httpinfo(resp)
      @http_resp = resp
    end
    attr_reader :http_resp

    def content_type
      @http_resp['content-type']
    end

    def content_encoding
      @http_resp['content-encoding']
    end

    def last_modified
      if @http_resp.key? 'last-modified'
        require 'time'
        Time.httpdate(@http_resp['last-modified'])
      else
        nil
      end
    end
  end

  class Buf
    def Buf.open(init_contents=nil)
      buf = Buf.new
      if init_contents
	init_contents.call buf
	buf.stream.rewind
      end
      stream = buf.stream
      if block_given?
	begin
	  yield stream
	ensure
	  stream.close
	end
      else
	stream
      end
    end

    def initialize(basename='ruby-uri', size_limit=10240)
      @basename = basename
      @size_limit = size_limit
      @stream = StringIO.new('', 'w+')
      @size = 0
    end
    attr_reader :stream

    def <<(data)
      @size += data.length
      if @size_limit < @size && StringIO === @stream
	f = Tempfile.new(@basename)
	f << @stream.string
	@stream = f
      end
      @stream << data
    end
  end
end

module Kernel
  alias uri_original_open open
  def open(name, *rest, &block)
    if %r{\A(http|ftp)://} =~ name
      URI.open(name, *rest, &block)
    else
      uri_original_open(name, *rest, &block)
    end
  end
end
-- 
[田中 哲][たなか あきら][Tanaka Akira]
「ふえろ! わかめちゃん作戦です$(C⊇」(Little Worker, 桂遊生丸)