小编给大家分享一下使用OpenCsv导入大数据量报错怎么办,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!
导入100W的Csv数据,使用OpenCsv解析工具解析Csv,发现报错
报错内容
com.opencsv.exceptions.CsvMalformedLineException: Unterminated quoted field at end of CSV line. Beginning of lost text: [XXXXX...]
at com.opencsv.CSVReader.readNext(CSVReader.java:355) ~[opencsv-4.6.jar!/:na]
解析代码
CSVParser csvParser = new CSVParserBuilder().build(); try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(csvParser).build()) { String[] lines; while ((lines = readerCsv.readNext()) != null) { doRead(lines); } } catch (CsvValidationException e) { throw new IOException(e); }
报错位置发生在英文逗号处,一开始怀疑是英文逗号解析问题
Csv 文本报错位置
"2018-04-28 00:40:43","xxx,XXXXX"
去掉当前位置英文逗号导入仍旧失败
后来查看源码发现默认的 CSVParser 会对反斜杠""进行处理
这导致了解析Csv逻辑与源文件不同
后来使用了 RFC4180Parser 问题解决
RFC4180Parser rfc4180Parser = new RFC4180ParserBuilder().build(); try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(rfc4180Parser).build()) { String[] lines; while ((lines = readerCsv.readNext()) != null) { doRead(lines); } } catch (CsvValidationException e) { throw new IOException(e); }
以上是“使用OpenCsv导入大数据量报错怎么办”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注亿速云行业资讯频道!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。