超大Excel文件读写：使用SXSSFWorkbook和EasyExcel方式对比

超大Excel文件读写

在进行超大Excel文件读写时，我们通常使用EasyExcel，EasyExcel采用逐行读取的解析模式，将每一行的解析结果以观察者的模式通知处理（AnalysisEventListener），所以比较适合数据体量较大的Excel文件解析。

下面对比一下对于超大Excel文件使用POI写入和使用EasyExcel的效率

使用POI写入：使用SXSSFWorkbook进行写入，通过设置SXXFWorkbook的构造参数，可以设置每次在内存中保持的行数，当达到这个值的时候，那么会把这些数据flush到磁盘上，这样就不会出现内存不够的情况。

写入100W条数据

public class Order {@ExcelProperty("订单编号")private String orderId; // 订单编号@ExcelProperty("支付金额")@NumberFormat("￥#,###")private Double payment; // 支付金额@ExcelProperty(value = "创建日期",converter = LocalDateTimeConverter.class)private LocalDateTime creationTime; // 创建时间public Order() {this.orderId = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddhhmmss"))+ UUID.randomUUID().toString().substring(0, 5);this.payment = Math.random() * 10000;this.creationTime = LocalDateTime.now();}public String getOrderId() {return orderId;}public void setOrderId(String orderId) {this.orderId = orderId;}public Double getPayment() {return payment;}public void setPayment(Double payment) {this.payment = payment;}public LocalDateTime getCreationTime() {return creationTime;}public void setCreationTime(LocalDateTime creationTime) {this.creationTime = creationTime;}@Overridepublic String toString() {return "Order [orderId=" + orderId + ", payment=" + payment + ", creationTime=" + creationTime + "]";}
}

public class test1 {public static void main(String[] args) {try (Workbook workbook = new SXSSFWorkbook(100);FileOutputStream fos = new FileOutputStream("E:\\test\\temp.xlsx")) {long start = System.currentTimeMillis();data();workbook.write(fos);long end = System.currentTimeMillis();System.out.println("执行程序耗时："+(end-start)+"ms");} catch (IOException e) {e.printStackTrace();}}// 创建100w条订单数据private static List<Order> data() {List<Order> list = new ArrayList<Order>();for (int i = 0; i < 1000000; i++) {list.add(new Order());}return list;}}

执行程序耗时：6589ms

使用EasyExcel

//实体订单类

public class Order {@ExcelProperty("订单编号")private String orderId; // 订单编号@ExcelProperty("支付金额")@NumberFormat("￥#,###")private Double payment; // 支付金额@ExcelProperty(value = "创建日期",converter = LocalDateTimeConverter.class)private LocalDateTime creationTime; // 创建时间public Order() {this.orderId = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddhhmmss"))+ UUID.randomUUID().toString().substring(0, 5);this.payment = Math.random() * 10000;this.creationTime = LocalDateTime.now();}public String getOrderId() {return orderId;}public void setOrderId(String orderId) {this.orderId = orderId;}public Double getPayment() {return payment;}public void setPayment(Double payment) {this.payment = payment;}public LocalDateTime getCreationTime() {return creationTime;}public void setCreationTime(LocalDateTime creationTime) {this.creationTime = creationTime;}@Overridepublic String toString() {return "Order [orderId=" + orderId + ", payment=" + payment + ", creationTime=" + creationTime + "]";}
}

//Converter转换类（兼容LocalDateTime日期时间类）

public class LocalDateTimeConverter implements Converter<LocalDateTime> {@Overridepublic Class<LocalDateTime> supportJavaTypeKey() {return LocalDateTime.class;}@Overridepublic CellDataTypeEnum supportExcelTypeKey() {return CellDataTypeEnum.STRING;}@Overridepublic LocalDateTime convertToJavaData(CellData cellData, ExcelContentProperty contentProperty,GlobalConfiguration globalConfiguration) {return LocalDateTime.parse(cellData.getStringValue(), DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));}@Overridepublic CellData<String> convertToExcelData(LocalDateTime value, ExcelContentProperty contentProperty,GlobalConfiguration globalConfiguration) {return new CellData<>(value.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")));}}

写入100w条数据

public class Demo01 {public static void main(String[] args) {long start = System.currentTimeMillis();// 写入10wEasyExcel.write("E:\\a\\easy.xlsx", Order.class).sheet("订单列表").doWrite(data());long end = System.currentTimeMillis();System.out.println("执行程序耗时：" + (end - start) + "ms");}// 创建100w条订单数据private static List<Order> data() {List<Order> list = new ArrayList<Order>();for (int i = 0; i < 1000000; i++) {list.add(new Order());}return list;}}

执行程序耗时：30956ms

感谢阅读，如果对您有帮助请留下您的点赞和关注！

超大Excel文件读写：使用SXSSFWorkbook和EasyExcel方式对比相关推荐

java中 Excel文件解析及超大Excel文件读写
本文主要对Excel中数据的解析和生成进行总结前言在应用程序的开发过程中,我们经常要用到Excel进行数据的导入或导出.所以,在通过Java语言实现此类需求时,通常会对Excel文件进行解析或生成 ...
EasyExcel实现对excel文件读写
EasyExcel实现对excel文件读写 1.EasyExcel介绍 2.EasyExcel特点: 3.EasyExcel写操作 3.1 pom中引入xml相关依赖 3.2 创建实体类 3.3 实现 ...
Java实现Excel文件读写
目录一.简介二.maven依赖三.工具类ExcelUtil 四.测试 4.1.EmployeeVo 4.2.写入数据到Excel 4.3.从Excel读取数据结语一.简介 HSSFWor ...
python第三方库文件传输_Python第三方库在Excel文件读写中的应用
Python第三方库在Excel文件读写中的应用文/刘卫华1 史婷婷2 许学添1 [摘要]摘要 [期刊名称]<电子技术与软件工程> [年(卷),期]2019(000)016 [总页数 ...
php原生读取excel文件夹,原生php实现excel文件读写的方法分析php技巧
这篇文章主要介绍了原生php实现excel文件读写的方法,结合实例形式分析了采用原生php针对Excel进行读写操作的相关实现方法与操作注意事项,需要的朋友可以参考下本文实例分析了原生php实现ex ...
c语言从excal读取字符串,C语言操作EXCEL文件(读写)
C语言操作EXCEL文件(读写) 本文主要介绍通过纯C语言进行EXCEL的读写操作:(修改时间2018.08.28,如果运行结果均是0,请看文章最后一节) C语言读操作 C语言写操作在之前需要使用C ...
Python学习笔记4——csv/excel文件读写保存
工具包准备和设置检查 csv文件读写和保存 csv文件读写 csv文件保存 Excel工作表文件读写和保存 excel文件读写 excel文件保存总结附录代码工具包准备和设置检查相关工具包导入 ...
超大Excel文件读取（支持50w+）(三)
超大Excel文件读取(支持50w+) 1 线上内存溢出问题演示环境准备准备一个大的excel文件(xlsx大小10M及以上) 将jvm的heap缩小到500m(JVM 参数 -Xmx500m)用 ...
php 原生 excel,关于原生php实现excel文件读写的方法
这篇文章主要介绍了原生php实现excel文件读写的方法,结合实例形式分析了采用原生php针对Excel进行读写操作的相关实现方法与操作注意事项,需要的朋友可以参考下本文实例分析了原生php实现ex ...

超大Excel文件读写：使用SXSSFWorkbook和EasyExcel方式对比

超大Excel文件读写

使用EasyExcel

感谢阅读，如果对您有帮助请留下您的点赞和关注！

超大Excel文件读写：使用SXSSFWorkbook和EasyExcel方式对比相关推荐

最新文章

热门文章

超大Excel文件读写 ：使用SXSSFWorkbook和EasyExcel方式对比

超大Excel文件读写

使用EasyExcel

感谢阅读，如果对您有帮助请留下您的点赞和关注！

超大Excel文件读写 ：使用SXSSFWorkbook和EasyExcel方式对比相关推荐

最新文章

热门文章

超大Excel文件读写：使用SXSSFWorkbook和EasyExcel方式对比

超大Excel文件读写：使用SXSSFWorkbook和EasyExcel方式对比相关推荐