ruby-list

大城と申します。

Webスクレイピングツールを探しており、Mechanizeというのでそれが実現できそうなのですが、元がperlで書かれたツールのようで、ruby版やpython版もあるということのようです。

検索で出てくる更新日付ではどうもruby版が２０１２年、python版が２０１１年、perl版が２００４年？のよう（←さらに検索していたら個人の方のページで２０１２年版があるようでした）なんですが、それぞれ独自の機能もありそうで、どれを選べばいいのかよくわかりません。

[Ruby]
 http://mechanize.rubyforge.org/
  mechanize-2.5.1 (ruby, 2012/5)
  （githubでは404エラー）
 http://rubygems.org/gems/mechanize
  mechanize | RubyGems.org | your community gem host
http://d.hatena.ne.jp/kitamomonga/20111128/ruby_mechanize_2_1_pre1
  Ruby Mechanize 2.1.pre.1+ - きたももんががきたん。
 http://www.chadcf.com/blog/using-capybara-javascript-capable-replacement-mechanize
  Using capybara as a javascript capable replacement for Mechanize | chadcf

[Python]
 http://wwwsearch.sourceforge.net/mechanize/
  mechanize-0.2.5 (python, 2011/3)
http://coreblog.org/ats/using-mechanize-to-automate-web-access
  pythonモジュールmechanizeでWeb上の作業を自動化する | TRIVIAL TECHNOLOGIES @ats のイクメン日記
 http://bugrammer.g.hatena.ne.jp/nisemono_san/20111204/1322932616
  BeautifulSoup、Mechanizeでおいしくデータをすする -- PythonによるWebスクレイピング - 蟲！虫！蟲！
- #!/usr/bin/bugrammer

[Perl]
 http://search.cpan.org/~jesse/WWW-Mechanize/
  Jesse Vincent / WWW-Mechanize - search.cpan.org 1.72 (2012/2)
 http://blog.remora.cx/2010/10/get-pasmo-history-with-perl.html
  【Perl】WWW::Mechanize と Web::Scraper で PASMO の利用履歴を得る（その１） - blog.remora.cx
 http://search.cpan.org/~sprout/WWW-Mechanize-Plugin-JavaScript-0.010/lib/WWW/Mechanize/Plugin/JavaScript.pm
  WWW::Mechanize::Plugin::JavaScript - search.cpan.org
http://blog.kzfmix.com/entry/1299066556
  WWW::Mechanize::Firefox

もしよろしければ以下について教えて頂きたいのですが、いかがでしょうか。

１．どのツールも大差ない、のか、あるいは（３言語中で最新らしき）2012年版があるRuby一択か。

２．Mechanize以外に、他のおすすめスクレイピングツールはないか。

（selenumというFirefoxのプラグインの紹介も出てきましたが↓）

 http://hatakazu.hatenablog.com/entry/2012/06/10/083928
  【技術】mechanizeに変わる方法を考えてみた - はたけアーカイブ

ちょっと、中途半端な質問ですみませんが、どうぞよろしくお願いします。

↓その他：php,java版など

 http://stackoverflow.com/questions/11399883/ruby-or-perl-or-python-for-webcrawler-and-search-engine
  Ruby or Perl or Python for webcrawler and search engine - Stack Overflow

 http://www.compasswebpublisher.com/php/www-mechanize-for-php
  WWW::Mechanize for PHP

 http://gistlabs.com/software/mechanize-for-java/
  Mechanize for Java | Gist Labs 0.11.0 (Java, 2012/11)
http://stackoverflow.com/questions/2867499/mechanize-for-java
  perl - mechanize for Java - Stack Overflow
 http://answers.yahoo.com/question/index?qid=20100618005703AAHyFsH
  Is there a Java equivalent to Ruby Mechanize? - Yahoo! Answers

--
=============================================
OSHIRO Naoki: oshiro@mibai.tec.u-ryukyu.ac.jp
http://mibai.tec.u-ryukyu.ac.jp/~oshiro/

Thread

Prev Next

In This Thread

Prev Next

[#49028] [ANN] ぐんまRuby会議01を開催します — Yuichi NANSAI <nansai@...>

[#49029] スクレイピングツール — Naoki Oshiro <oshiro@...>

[#49031] elseの直前に全角スペースがある場合の動作が？ — Yuumi Yoshida <yuumi3@...>

[#49048] SketchUp プラグイン（rbsファイル)の日本語化について — 上田佳寛 <ueda@...>

[#49055] complete(-1073741819) — konoki-nannoki-ggrks.mp4@...

[#49057] RubyでsetInterval — swec@...

[#49072] RubyでMecab — 井澤 隆浩 <KHB15150@...>

[#49080] [ANN] gettext 2.3.4 — Haruka Yoshihara <yoshihara@...>

[#49082] [ANN] Milkode 0.9.5 — ongaeshi <ongaeshi0621@...>

[#49085] Ruby2.0.0 における __FILE__ エンコーディング — whiteleaf <2nd.leaf@...>

[#49088] [ANN]ぐんまRuby会議01LT募集開始のお知らせ — Yuichi NANSAI <nansai@...>

[#49090] IronrubyとC#の連携 — 井澤 隆浩 <KHB15150@...>

[#49097] [ANN] Ruby 1.9.3 patchlevel 362 — "U.Nakamura" <usa@...>

[#49098] Array#compact on Ruby1.9.3 — 古川大輔 <mogya99@...>

[#49101] Toward Ruby 2.0.0 (was: [IMPORTANT] 2.0.0 release plan) — SASADA Koichi <ko1@...>

[#49102] リファレンスマニュアルのOpenSSLの項目に間違いがあります — Shunichi Arai <arai@...>

[#49103] [ANN] rroonga 2.1.0 — Kouhei Sutou <kou@...>

[#49104] [ANN] Milkode 0.9.6 — ongaeshi <ongaeshi0621@...>

[ruby-list:49029] スクレイピングツール

Thread

In This Thread

[#49072] RubyでMecab — 井澤　隆浩 <KHB15150@...>

[#49085] Ruby2.0.0 における FILE エンコーディング — whiteleaf <2nd.leaf@...>

[#49090] IronrubyとC#の連携 — 井澤　隆浩 <KHB15150@...>