[ruby-core:97134] [Ruby master Bug#16628] CSV.new する時にGzipReaderを渡すとCSV::Parser::InvalidEncodingが出る場合がある

Issue #16628 has been updated by namayaki3 (山中 裕樹).


さっそくの返信ありがとうございます。

ISSUE作りました。英語の方が良ければ英語に直します。。
また、CSVファイルは秘匿情報が含まれているため、いますぐそのままお渡しできないです・・・申し訳アリアm戦。
ファイル加工して共有できるような形にできればと思います。

----------------------------------------
Bug #16628: CSV.new する時にGzipReaderを渡すとCSV::Parser::InvalidEncodingが出る場合がある
https://bugs.ruby-lang.org/issues/16628#change-84238

* Author: namayaki3 (山中 裕樹)
* Status: Third Party's Issue
* Priority: Normal
* Assignee: kou (Kouhei Sutou)
* ruby -v: ruby 2.6.5p114 (2019-10-01 revision 67812) [x86_64-darwin18]
* Backport: 2.5: UNKNOWN, 2.6: UNKNOWN, 2.7: UNKNOWN
----------------------------------------
## バージョン
ruby 2.6.5

## 現象
以下のようにCSV.newする時にGZipReaderを渡すとCSV::Parser::InvalidEncodingが出てエラーになります。

### コード

``` 
gz = Zlib::GzipReader.new(File.open("file/to/path")
CSV.new(gz).each_with_index do |d,i|
    ~~~ 略 ~~~~
end
```

### エラーログ
```
.rbenv/versions/2.6.5/lib/ruby/2.6.0/csv/parser.rb:314:in `rescue in parse': Invalid byte sequence in UTF-8 in line 78512. (CSV::MalformedCSVError)
```

## 考えられる要因
csv/parser.rb の202行目でinput.getsする時にchunksizeを指定していますが、この値によって、chunkが変なところで切られているように見えます。
それによって、utf8のバリデーションが失敗し、上記エラーが出ているように見えます。

ruby 2.5系では発生しません。





-- 
https://bugs.ruby-lang.org/

Unsubscribe: <mailto:[e-mail]?subject=unsubscribe>
<http://lists.ruby-lang.org/cgi-bin/mailman/options/ruby-core>