POI

POI：POI是创建和维护操作各种符合Office Open XML（OOXML）标准和微软的OLE 2 复合文档格式（OLE2）的Java API”

加载并读取Excel时，，由于不同的运行环境可能会造成内存不足甚至OOM异常。
poi读取Excel有两种模式，一种是用户模式，一种是sax事件驱动模式。用户模式是通过一次性的将所有数据加载到内存中再去解析每个单元格内容。当Excel数据量比较大时当数据量过大时会出现内存溢出的问题。事件模式：它逐行扫描文档，一边扫描一边解析。由于应用程序只是在读取时检查数据，因此不需要将数据存储在内存中。

读取大数据量文件方法：

使用StreamingReader

1、引入jar包
<dependency><groupId>com.monitorjbl</groupId><artifactId>xlsx-streamer</artifactId><version>1.2.1</version>
</dependency>
2、
FileInputStream fileInputStream = new FileInputStream(String path);Workbook wb = StreamingReader.builder().rowCacheSize(100)//读取到内存中的行数，默认10.bufferSize(4096)//读取资源，缓存到内存的字节大小。默认1024.open(fileInputStream);//打开资源。只能是xlsx文件Sheet rows = wb.getSheetAt(0);for (Row row : rows) {for (Cell cell : row) {System.out.println(cell.getStringCellValue());}}

使用SAX事件驱动

//根据Excel报表获取OPCPackage
OPCPackage pkg = OPCPackage.open(fileName);
//创建XSSFReader对象
XSSFReader r = new XSSFReader(pkg);
//获取SharedStringTable对象
SharedStringsTable sst = r.getSharedStringsTable();
//创建SAX的XMLReader对象
XMLReader xmlReader = XMLReaderFactory.createXMLReader();
// 事件驱动处理器 SheetHandler extends DefaultHandler
ContentHandler handler = new SheetHandler(sst);
// 或者使用 XSSFSheetXMLHandler handler = new XSSFSheetXMLHandler(styles, readOnlySharedStringsTable, new ReadExcel(), formatter, false);
xmlReader.setContentHandler(handler);
//逐行进行数据读取
XSSFReader.SheetIterator sheetIterator = (XSSFReader.SheetIterator) r.getSheetsData();while (sheetIterator.hasNext()) {InputStream in = sheetIterator.next();InputSource is = new InputSource(in);parser.parse(is);}

private static class SheetHandler extends DefaultHandler{//接收元素开始的通知public void startElement(String uri, String localName, String name, Attributes attributes ) throws SAXException {// ......}//根据startElement()的单元格数字类型和characters()的索引值或内容值，最终得出单元格的内容值。接收元素结束的通知public void endElement(String uri, String localName, String name) throws SAXException {//......}//用于获取该单元格对应的索引值或是内容值（如果单元格类型是字符串、INLINESTR、数字、日期则获取的是索引值；其他如布尔值、错误、公式则获取的是内容值）public void characters(char[] ch, int start, int length) {//......}
}或者：//实现SheetContentsHandler接口，覆盖startRow(),endRow(),cell()方法
private class ReadExcel implements SheetContentsHandler {//读取某行开始@Overridepublic void startRow(int rownum) {//.......}//读取某行结束@Overridepublic void endRow(int rowNum) {//......}//读取某行中的单元格@Overridepublic void cell(String cellReference, String formattedValue, XSSFComment xssfComment) {//......
}

导出大量数据到excel使用SXSSFWorkbook（只可以写数据，不可以读数据）

public class WriteExcel {public static void writeLargeXLSXFile() throws IOException {String excelFileName = "D:/FileName.xlsx";String sheetName = "Sheet1";SXSSFWorkbook wb = new SXSSFWorkbook(10000);Sheet sh = wb.createSheet(sheetName);for (int r = 0; r < sh.getLastRowNum(); r++) {//。。。。。。}FileOutputStream out = new FileOutputStream(excelFileName);wb.write(out);out.flush();out.close();wb.dispose();wb.close();}
}

poi读取百万级数据相关推荐

使用POI导出百万级数据到excel的解决方案
使用POI导出百万级数据到excel的解决方案参考文章: (1)使用POI导出百万级数据到excel的解决方案 (2)https://www.cnblogs.com/hxun/p/11419006. ...
Java代码实现百万级数据XLS文件和XLSX文件的读取(已经过测试, 安心使用)
前言工作中通常会有XLS和XLSX文件转换成CSV文件的需求,虽然Excel和WPS可以将这两种格式文件很方便的转换,但是不可能将生产上的数据下载下来转换后再上传上去(这真是个疯狂的想法...).目 ...
php导出1万条数据excel_PHP快速导出百万级数据到CSV或者EXCEL文件
前言: 很多时候,因为数据统计,我们需要将数据库的数据导出到Excel等文件中,以供数据人员进行查看,如果数据集不大,其实很容易:但是如果对于大数集的导出,将要考虑各种性能的问题,这里以导出数据库一百 ...
MYSQL百万级数据，如何优化
MYSQL百万级数据,如何优化首先,数据量大的时候,应尽量避免全表扫描,应考虑在 where 及 order by 涉及的列上建立索引,建索引可以大大加快数据的检索速度.但是,有些情况索引是不会起效 ...
Java写入大字符串到oracle数据库_java程序如何提高oracle百万级数据的insert效率
业务:需要从一个数据库查询百万级数据,在java程序中插入到另一个oracle数据库中代码: private final int persize = 1000; /** * 推送数据-流程 * @p ...
oracle百万级数据导入,用Perl从oracle导出百万级数据到excel
Perl从oracle导出百万级数据到excel excel 2007 可以存放1048576行.16384列的数据:excel 2003大概是65535行我从oracle中导出30万行60列的数据 ...
百万级数据量，千万级数据量是多少，海量数据的优化方案
百万级数据量,千万级数据量是多少? 这里的百万级,千万级,针对数据库,指的是表的数据条数.有时也指并发事务量. 海量数据的优化方案 Note: 具体优化要结合自身的业务特性百万级: 这个数据量 ...
Java利用Apace POI读取Excel中数据
Java利用Apace POI读取Excel中数据,解析数据 @Testpublic void readExcel() throws IOException{FileSystemView fsv = ...
mysql 优化实例（百万级数据）
2019独角兽企业重金招聘Python工程师标准>>> MySql 这个数据库绝对是适合dba级的高手去玩的,一般做一点1万篇新闻的小型系统怎么写都可以,用xx框架可以实现快速开发. ...

poi读取百万级数据

POI

poi读取百万级数据相关推荐

最新文章

热门文章