ruby-list

けいじゅ＠日本ラショナルソフトウェアです.

In [ruby-list :28241 ] the message: "[ruby-list:28241] Re: question of
pipe , thread and queue ", on Feb/25 00:35(JST) Yukihiro Matsumoto
writes:

>まつもと ゆきひろです

>|>たぶん、threadとforkを組み合わせてるのがイカンのでは？
>|>現在disableにしてる fork_and_kill_other_threads を on にする
>|>とこの問題は発生しないようです。
>|
>|うぅ. デフォルトの動作はこれじゃなかったんでしたっけ? 
>
>違います。いろいろモメたので。

うーん. どうなんですかねぇ... 今回のようにIOをポーリングしているスレッド
があると必ず問題になりますし. ライブラリを使う側がライブラリのスレッドが
勝手にやっていることの責任まで持つのはどうかと思うのですが...

でも, close-on-exec何かとの対称性から言えばこのままで良いのかしら... こ
れもforkする側が責任を持ってやれってことですからね...

>|良く考えたら, 必要ないIOをクローズしていないんですね. それではちょっと行
>|儀が悪いかなと... 過去のMLにもこの話題がありましたが, 推薦解がよくわかり
>|ませんでした. 推薦解としてはどういうものがあるでしょう?
>
>いまんとこ、決定打はないように思います。

簡単に, close-on-exec(じゃないもの)を指定できるインターフェイスが欲しい
ですね.

IO.set_all_close_on_exec_except(STDIO,...)

とか. または, openしているioをすべて取り出すインターフェイスがあっても良
いですが...

IO.set_close_on_exec(IO.all_open - [STDIO, ...])

それはそれでもんだいなんですが. ともかく. 

例のやつダイブできたのですがまた問題が発生しています.

最後に添付したプログラムで

% ruby pipe-sample.rb 2

とすると. ls|sort|head するのですが, 時々同じファイル名を複数返してきま
す... どう見てもプログラムのせいではないと思えるんですよね.

ちなみに, 

% ruby pipe-sample.rb 2 p

でログをとると, 

1548:put<sort>->8:0[test-shell.rb.~1~]
1548:put<sort>->8:0[test-thread.rb]
1548:close<sort>
1548:get<sort><-4:0[Makefile]
1548:put<head>->10:0[Makefile]
1548:get<sort><-4:0[Makefile]
1548:get<sort><-4:1[Obsolate]

こんな感じで, sortからMakefileが2回返ってきています. 入力は1回しかないの
に...

いったいどうしてでしょう?

#--
require "thread"   

class TestShell 

  def initialize(com)
    @com = com
    @pipe_me_in, @pipe_peer_out = IO.pipe
    @pipe_peer_in, @pipe_me_out = IO.pipe
#    Tracer.on
    Thread.critical = true
    @pid = fork {
      Thread.critical = true
      Thread.list.each{|th| th.kill unless th.equal?(Thread.current)}
      print "#{$$}:start<#{@com}>\n" if PRINT

#      Thread.critical = true
#      @pipe_me_in.close
#      @pipe_me_out.close
      ObjectSpace.each_object(IO){|io| 
	if [@pipe_peer_in, @pipe_peer_out, STDIN, STDOUT, STDERR].include?(io)
	else
	  io.close unless io.closed?
	end
      }
	  
      STDIN.reopen(@pipe_peer_in)
      Tracer.off
      STDOUT.reopen(@pipe_peer_out)
      exec(com)
    }
#    Tracer.off
    @pipe_peer_in.close
    @pipe_peer_out.close
    Thread.critical = false
    Thread.start do
      begin
#	loop do
	Process.waitpid(@pid)
#	  return if Process.waitpid(@pid, Process::WNOHANG)
#	  sleep 0.2
#	end
      rescue Errno::ECHILD
      ensure
	if PRINT
	  Thread.critical = true
	  print "#{$$}:Finish<#{@com}>\n"
	  Thread.critical = false
	end
      end
    end


    @queue = Queue.new
    
    Thread.start do
      if PRINT
	Thread.critical = true
	print "#{$$}:pipe_in<#{@com}>#{@pipe_me_in.fileno}\n"
	Thread.critical = false
      end
      while l = @pipe_me_in.gets
	if PRINT
	  Thread.critical = true
	  print "#{$$}:get<#{@com}><-#{@pipe_me_in.fileno}:#{@queue.size}[#{l.chop}]\n"
	  Thread.critical = false
	end
	@queue.push l
      end
      if PRINT
	Thread.critical = true
	print "#{$$}:get<#{@com}>[END]\n"
	Thread.critical = false
      end
      @queue.push :EOF
    end
  end

  def each
    while (l = @queue.pop) != :EOF
      yield l
    end
  end

  def set_input(sh)
    @input = sh
    Thread.start do
      if PRINT
	Thread.critical = true
	print "#{$$}:pipe_out<#{@com}>#{@pipe_me_out.fileno}\n"
	Thread.critical = false
      end
      begin
	@input.each{|l| 
	  if PRINT
	    Thread.critical = true
	    print "#{$$}:put<#{@com}>->#{@pipe_me_out.fileno}:#{@queue.size}[#{l.chop}]\n"
	    Thread.critical = false
	  end
	  @pipe_me_out.print l
	}
      rescue Errno::EPIPE
      ensure
	if PRINT
	  Thread.critical = true
	  print "#{$$}:close<#{@com}>\n"
	  Thread.critical = false
	end
	@pipe_me_out.flush
	@pipe_me_out.close
      end
    end
  end
end

STDOUT.sync = true
Thread.abort_on_exception=true

if ARGV.include?("p")
  PRINT = true
else
  PRINT = false
end

require "tracer"
Tracer.add_filter do
  |event, file, line, id, binding|
  File::dirname(file) == "." or File::dirname(file) == "sample"
end
if ARGV.include?("t")
  Tracer.on
end

if ARGV.include?("1")
  ls = TestShell.new("ls")
  head = TestShell.new("head")
  #sleep 1
  head.set_input(ls)
  #sleep 1
  #p ls.instance_eval{@queue}
  for l in head
    print l
  end
end

if ARGV.include?("1s")
  ls = TestShell.new("ls")
  sort = TestShell.new("sort")
  #sleep 1
  sort.set_input(ls)
  #sleep 1
  #p ls.instance_eval{@queue}
  for l in sort
    print l
  end
end


if ARGV.include?("1u")
  ls = TestShell.new("ls")
  uniq = TestShell.new("uniq -d")
  #sleep 1
  uniq.set_input(ls)
  #sleep 1
  #p ls.instance_eval{@queue}
  for l in uniq
    print l
  end
end

if ARGV.include?("2")
  ls = TestShell.new("ls")
#  sleep 1
  sort = TestShell.new("sort")
  sort.set_input(ls)
#  sleep 0.4
  head = TestShell.new("head")
  head.set_input(sort)
  #p ls.instance_eval{@queue}
  for l in head
    print l
  end
end

if ARGV.include?("2ch")
  ls = TestShell.new("ls")
#  sleep 1
  cat = TestShell.new("cat")
  cat.set_input(ls)
#  sleep 0.4
  head = TestShell.new("head")
  head.set_input(cat)
  #p ls.instance_eval{@queue}
  for l in head
    print l
  end
end

if ARGV.include?("3")
  ls = TestShell.new("ls")
#  sleep 1
  cat = TestShell.new("cat")
  cat.set_input(ls)

  sort = TestShell.new("sort")
  sort.set_input(cat)
#  sleep 0.4
  head = TestShell.new("head")
  head.set_input(sort)
  #p ls.instance_eval{@queue}
  for l in head
    print l
  end
end

__
..............................石塚 圭樹＠日本ラショナルソフトウェア...
----------------------------------->> e-mail: keiju@rational.com <<---

Thread

Prev Next

In This Thread

Prev Next

[#28392] Ruby による CGI プログラミング — Keisuke Minami <keisuke@...>

[#28394] 日本語の文章を配列にいれ行の好きな位置から数文字取り出す — Kenji Noda <zaq94465a@...>

[#28397] xml2rb-0.1.2 released — MoonWolf <moonwolf@...>

[#28402] crypt — Kenji Noda <zaq94465a@...>

[#28406] ２５６倍本無道編やっと買いました — M_HANA <M_HANA@...0.sapporo-soft.ac.jp>

[#28408] Fwd: RCR: Input XML support in the base Ruby — TAKAHASHI Masayoshi <maki@...>

[#28415] class Real — 正木 功 <GEC01122@...>

[#28429] Marshal format version — Takahiro Kambe <taca@...>

[#28431] RE:class Real — 正木 功 <GEC01122@...>

[#28435] ruby 1.6.3? — akira yamada / やまだあきら <akira@...>

[#28441] constant in module_eval — Kenichi Komiya <kom@...1.accsnet.ne.jp>

[#28443] DPMI — Kenji Noda <zaq94465a@...>

[#28454] Ruby 初心者は！ — 有瀬 和徳 <crush@...>

[#28475] Ruby Editor for Windows — Kenji Noda <zaq94465a@...>

[#28485] ruby/tk TkEntry#selection_present bug? — Noritsugu Nakamura <nnakamur@...>

[#28530] テキストファイルを固定文字数で切って、行番号をつけるプログラム — Keisuke Minami <keisuke@...>

[#28536] DATA.rewind — URA Takefumi <hage@...>

[#28561] ChibiXML started — MoonWolf <moonwolf@...>

[#28563] watcher2 もどき — Kazuhiko Iwama <iwama@...>

[#28565] 海外無料サーバ — 有瀬 和徳 <crush@...>

[#28577] field sort — Kenji Noda <zaq94465a@...>

[#28585] String#delete — rubikitch@...

[#28587] net/smtp.rb doesn't work with sendmail 8.8.7 — Mitsuhiro Kondo <kondo@...>

[#28591] sub の実行で予期せぬ動作 — Noriyuki Suzuki <noriyuki@...>

[#28594] TkScale#coords, TkScale#get, TkScale#identify 未実装 — Noritsugu Nakamura <nnakamur@...>

[#28599] 1.6 のダウンロードマニュアルが圧縮されていない？ — Keisuke Minami <keisuke@...>

[#28612] TkScrollbar#identify bug — Noritsugu Nakamura <nnakamur@...>

[#28630] nest of Hash.new — Sato Hiroshi <hiroshi@...>

[#28642] substr — Akihiro Yamauchi <aygoofy@...>

[#28646] 指定 field で sort — Kenji Noda <zaq94465a@...>

[#28653] ActiveScriptRuby in ASP — tokoma@... (中川 誠)

[#28660] ruby termios library — akira yamada / やまだあきら <akira@...>

[#28661] 正規表現 — Kenji Noda <zaq94465a@...>

[#28662] TkMenu#insert bug — Noritsugu Nakamura <nnakamur@...>

[#28663] TkMenuClone の使い方は？ — Noritsugu Nakamura <nnakamur@...>

[#28667] TkTextMark#next(index), #previous(index) — Noritsugu Nakamura <nnakamur@...>

[#28680] TkCanvas#delete bug — Noritsugu Nakamura <nnakamur@...>

[#28684] TkCanvas#lower, raise bug — Noritsugu Nakamura <nnakamur@...>

[#28685] Ruby/Tk のメソッドの動作確認スクリプト群 — Noritsugu Nakamura <nnakamur@...>

[#28686] Ruby の求人 — HIGAKI Masaru (ひがき まさる) <mash@...>

[#28687] Re: nest of Hash.new — Takahiro Kambe <taca@...>

[#28691] Dir#glob of mswin32 — "たけ(tk)" <ggb03124@...>

[#28698] ruby のコンパイル — Toru MITANI <toru_m@...2.dion.ne.jp>

[#28703] — HGF01572@...

[#28715] GC — OHARA Shigeki <os@...>

[#28737] Wiki もどき — IWATSUKI Hiroyuki <don@...>

[#28747] Ruby/Gtk 日本語表示と色変更を同時にするには？ — Yoshihisa Yamamoto <yyama@...>

[#28760] tmpfile() に相当するのは？ — 堀川 久 <vzw00011@...>

[#28761] media watch 2001.03.14 — Noritsugu Nakamura <nnakamur@...>

[#28762] CGI::header の不具合 — IWATSUKI Hiroyuki <don@...>

[#28764] Win32_process.create PID — Koga Atsushi <kog@...>

[#28765] Net::FTP#mtime — URA Takefumi <hage@...>

[#28771] copyright of gc.c — TAKAHASHI Masayoshi <maki@...>

[#28773] [Q] ChibiXML のサンプルみたいなもの — eda@...

[#28780] revenge of shell.rb — keiju@... (Keiju ISHITSUKA)

[#28789] freeze した文字列の書き換えチェック方法 — nekurai@...

[#28794] undef singleton method — "K.Kosako" <kosako@...>

[#28798] RubyUnit で、 initialize メソッドのようなことをしたい — "IKAGAWA, Kauztomo" <k_ikagawa@...>

[#28814] fgets — Kazuhiro NISHIYAMA <zn@...>

[#28820] [RDP] cgi.rd — rubikitch <rubikitch@...>

[#28824] [Q] データ格納用の配列の内容が変わる？ — Atsushi Kanaya <todo-a2c@...>

[#28852] Re: [ruby-ext:01642] Re: o_dbm — keiju@... (石塚圭樹)

[#28854] Marshal.load — Masatoshi SEKI <m_seki@...>

[#28855] NetBSD BSD/OS curses — matz@... (Yukihiro Matsumoto)

[#28860] Fwd: [ruby-talk:12840] Looking for a decent compression scheme — Kazuhiro Yoshida <moriq.kazuhiro@...>

[#28862] media watch 2001.03.18 — Noritsugu Nakamura <nnakamur@...>

[#28864] patch glob for MSWin32 ruby-1.6.3 — arton <arton@...>

[#28877] Gtk.timeout_add — Nishio Mizuho <mzh@...>

[#28881] 初歩的な質問 — Kenji Noda <zaq94465a@...>

[#28887] cygwin で組み込み — "shibata kenji" <shibata@...>

[#28895] 1.6.3 compile with cc on Sun or HP-UX. — Takashi Shimizu <simtak@...>

[#28901] Numeric.new — "たけ(tk)" <ggb03124@...>

[#28903] lndir.rb でエラー — みかみ まさと <kofukan@...>

[#28911] media watch 2001.03.22 — akira yamada / やまだあきら <akira@...>

[#28916] ruby 1.6.3, deleted from 1.6.2? — Takahiro Kambe <taca@...>

[#28919] RD の Reference について — Kenta MURATA <muraken2@...>

[#28920] オペレータの再定義 — EMOTO Masahiko <emo@...>

[#28932] class constants and singleton class — "K.Kosako" <kosako@...>

[#28938] yet another URI library — akira yamada / やまだあきら <akira@...>

[#28943] Front End Processror A(?) Ruby — YANAGAWA Kazuhisa <kjana@...>

[#28415] class Real — 正木　功 <GEC01122@...>

[#28431] RE:class Real — 正木　功 <GEC01122@...>

[#28454] Ruby 初心者は！ — 有瀬　和徳 <crush@...>

[#28565] 海外無料サーバ — 有瀬　和徳 <crush@...>

[#28653] ActiveScriptRuby in ASP — tokoma@... (中川誠)

[#28686] Ruby の求人 — HIGAKI Masaru (ひがきまさる) <mash@...>

[#28760] tmpfile() に相当するのは？ — 堀川久 <vzw00011@...>

[#28903] lndir.rb でエラー — みかみまさと <kofukan@...>

[#28963] Re: ９ｐ L ３〜１０ P ２ L 　 2 回目 — Naoto Hiroshima <taisei-in@...>

[#28996] ruby API 　でどのクラスのインスタンスか知りたい — Kengo Nakajima <ringo@...>

[#29044] メソッドを private にしたい — 島田喜郎 <yoshimada@...>

[#29046] Re: メソッドを private にしたい — 島田喜郎 <yoshimada@...>