ruby-list

山崎（ゆ）です。

ごとけんさん、アドバイスありがとうございます。

> 必ず指数表記にするなら %e で指定できます。
たとえばこういうケースではGのようになって欲しいんですよね。。。
format %.2E 8100 => 8.10E+003
format %.2G 8100 => 8.1E+003

Eでは少数部の桁数が固定になってしまうので、有効数字2桁のところが3桁に見えてしま
います。

> > (2) 一般の四捨五入とは微妙に違う。
> >   format('%.2G', 0.00000815) => "8.1E-006"  # "8.2E-006"になってほしい
> >   format('%.2G', 0.000008151) => "8.2E-006"
> 
> それは10進法と2進法の違いのせいです。
> リテラル 0.00000815 で表される Float は有理数 815/100000000 より
> わずかに小さいのです。
> 
> format("%.16e", 0.00000815)
>     ==>"8.1499999999999999e-06"

なるほど。普通の方法で厳密に計算するのは難しそうですね。
というか、コンピュータで計算する以上、誤差を含んでしまうわけだからサポートのしよ
うがないですよね。

_______________________
Yusuke Yamasaki <y-yamasaki@saeilo.co.jp>

Thread

Prev Next

In This Thread

Prev Next

[#44428] [ANN]Miyako 1.4.3リリース — cyross@...

[#44429] NetBeans 6.0 でRubyのプロジェクトが作成できない — "m-tomiyama" <m-tomiyama@...>

[#44431] コンストラクタの引数について＆インスタンス変数の持ち方について — Akira Hayakawa <ruby@...>

[#44448] 他のクラスに依存しているコードのテスト — とみたまさひろ <tommy@...>

[#44451] Rails勉強会@東北第7回のお知らせ — 片平 裕市 <yuichi_katahira@...>

[#44453] RSS取得時<enclosure>タグでエラー？ — "garyo hosu" <garyohosu@...>

[#44454] Award on Rails 2007受賞者 難波 克行 氏、久保 優子 氏のセミナーの案内 — 【株式会社ウェブキャリア】伊藤 信一郎 <ito@...>

[#44457] サーバーで実行させても安全なようにセキュリティ上安全な命令だけ実行させる方法はありますか？ — "garyo hosu" <garyohosu@...>

[#44461] 第 22 回 Ruby/Rails 勉強会@関西 参加受付を開始しました — HIGAKI Masaru (ひがき まさる) <mash@...>

[#44463] [ANN] Rails勉強会@東京 第26回のお知らせ — "MOROHASHI Kyosuke" <moronatural@...>

[#44464] [ANN] rcairo 1.5.1 — Kouhei Sutou <kou@...>

[#44465] win32-soundをApolloで使った時に起こるフリーズ — "Yangkook Kim" <yangkookkim@...>

[#44469] pdf 作成 ライブラリ — "Luiz Aoki" <luizruby@...>

[#44471] rhtml内で使われているマイナス記号 — "m-tomiyama" <m-tomiyama@...>

[#44474] [ANN] ja font patch for pdf-writer-1.1.7 — Noritsugu Nakamura <nnakamur@...>

[#44475] Re: [ANN] ja font patch for pdf-writer-1.1.7 — "Luiz Aoki" <luizruby@...>

[#44478] Re: win32-sound をApolloで使った時に起こるフリーズ — ISIHARA HIROSI <ishihara-h@...>

[#44483] format %g の丸めについて — 山崎雄介 <y-yamasaki@...>

[#44486] 新春特別企画!!「日本Rubyの会」会長であり、「たのしいRuby—Rubyではじめる気軽なプログラミング」 著者でもある、高橋 征義 氏による講演会を開催!! — 【株式会社ウェブキャリア】伊藤 信一郎 <ito@...>

[#44489] [ANN] Ruby クックブック読書会 #3 — cuzic <cuzic@...>

[#44503] SJISの正規表現について — 水 <water@...>

[#44515] RubricksでBBSを使用できるようにするには？ — "m-tomiyama" <m-tomiyama@...>

[#44517] www.ruby-lang.org/ja/man/ を静的HTMLに変更 — Kazuhiro NISHIYAMA <zn@...>

[#44525] 東北オープンソースカンファレンス2008のお知らせ — 片平 裕市 <yuichi_katahira@...>

[#44526] mongrel_railsが起動しません — 今林 健太郎 <k-imahayashi@...>

[#44528] Module内Methodの名前空間 — "Shingo Hagiwara" <rindou@...>

[#44531] 多段telnetするプログラムの作り方 — "徳島学" <manabu.tokushima@...>

[#44533] [ANN]日本PostgreSQLユーザ会北海道支部 / Ruby札幌 合同セミナー — "SHIMADA Koji" <snoozer.05@...>

[#44535] あの「基礎Ruby on Rails」の著者 黒田 努 氏によるRailsセミナー開催!! — 【株式会社ウェブキャリア】伊藤 信一郎 <ito@...>

[#44536] カタカナ→ひらがな変換 — "Hideo Konami" <konami@...>

[#44545] 通常使うDB以外のDBを使うには — 今林 健太郎 <k-imahayashi@...>

[#44550] ITProでやってるRuby検定って、 — adachi@... (Adachi Jun)

[ruby-list:44488] Re: format %g の丸めについて

Thread

In This Thread

[#44451] Rails勉強会@東北第7回のお知らせ — 片平裕市 <yuichi_katahira@...>

[#44454] Award on Rails 2007受賞者難波克行氏、久保優子氏のセミナーの案内 — 【株式会社ウェブキャリア】伊藤信一郎 <ito@...>

[#44461] 第 22 回 Ruby/Rails 勉強会@関西参加受付を開始しました — HIGAKI Masaru (ひがきまさる) <mash@...>

[#44463] [ANN] Rails勉強会@東京第26回のお知らせ — "MOROHASHI Kyosuke" <moronatural@...>

[#44469] pdf　作成　ライブラリ — "Luiz Aoki" <luizruby@...>

[#44486] 新春特別企画!!「日本Rubyの会」会長であり、「たのしいRuby—Rubyではじめる気軽なプログラミング」著者でもある、高橋征義氏による講演会を開催!! — 【株式会社ウェブキャリア】伊藤信一郎 <ito@...>

[#44525] 東北オープンソースカンファレンス2008のお知らせ — 片平裕市 <yuichi_katahira@...>

[#44526] mongrel_railsが起動しません — 今林健太郎 <k-imahayashi@...>

[#44533] [ANN]日本PostgreSQLユーザ会北海道支部 / Ruby札幌合同セミナー — "SHIMADA Koji" <snoozer.05@...>

[#44535] あの「基礎Ruby on Rails」の著者黒田努氏によるRailsセミナー開催!! — 【株式会社ウェブキャリア】伊藤信一郎 <ito@...>

[#44545] 通常使うDB以外のDBを使うには — 今林健太郎 <k-imahayashi@...>