基于EasyExcel多线程分页导出excel

Maven依赖
线程池配置
导出代码

第七更，基于EasyExcel 多线程分页导出excel
在项目中，BA要求全量导出表中数据，估计有十几万条，同事使用的是EasyPoi导致内存泄漏，我帮他优化，使用阿里的EasyExcel，解决了内存泄漏问题，但是导出17万数据仍需要84秒（本地测试），于是想到了多线程优化，最终测试时间为40秒，服务器上速度会更快，代码如下

Maven依赖

 <dependencies><dependency><groupId>com.alibaba</groupId><artifactId>easyexcel</artifactId><version>2.2.3</version></dependency></dependencies>

线程池配置

import com.google.common.util.concurrent.ThreadFactoryBuilder;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;import java.util.concurrent.*;@Configuration
public class ThreadPoolConfig {@Bean("excelThreadPool")public ExecutorService buildExcelThreadPool() {int cpuNum = Runtime.getRuntime().availableProcessors();BlockingQueue<Runnable> workQueue = new LinkedBlockingQueue<>(1000);ThreadFactory threadFactory = new ThreadFactoryBuilder().setNameFormat("excel-pool-%d").build();return new ThreadPoolExecutor(10 * cpuNum, 30 * cpuNum,1, TimeUnit.MINUTES, workQueue, threadFactory);}
}

导出代码

import com.alibaba.excel.EasyExcel;
import com.alibaba.excel.ExcelWriter;
import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.write.metadata.WriteSheet;
import org.apache.commons.collections4.CollectionUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.concurrent.ArrayBlockingQueue;
import java.util.concurrent.BlockingQueue;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Future;
import java.util.concurrent.atomic.AtomicInteger;@Component
public class MultiThreadExcelExport {@Autowired@Qualifier("excelThreadPool")private ExecutorService executorService;@SuppressWarnings("unchecked")public void exportExcel() {String fileName = "D:\\demo.xlsx";ExcelWriter writer = EasyExcel.write(fileName, User.class).build();WriteSheet writeSheet = EasyExcel.writerSheet("Sheet1").build();// 根据数据读写速度来调整，一般来说读的逻辑复杂，比较慢，如果读比写快，这里设为1int N = 2;// 大小设置为2就可以，作为缓冲BlockingQueue<List<User>> queue = new ArrayBlockingQueue<>(2);AtomicInteger start = new AtomicInteger(0);// 分页大小可以适当调整int pageSize = 10000;//开启多个线程分页查数据for (int i = 0; i < N; i++) {executorService.submit(() -> {while (true) {//自增int startNum= start.getAndAdd(pageSize);try {List<User> list = findPage(startNum, pageSize);if (CollectionUtils.isEmpty(list)) {//读到没数据也要放入空集合queue.put(Collections.EMPTY_LIST);break;}queue.put(list);} catch (Exception e) {//异常情况也要放入空集合，防止写线程无法退出循环queue.put(Collections.EMPTY_LIST);throw new RuntimeException(e);}}});}Future<?> submit = executorService.submit(() -> {int count = 0;while (true) {List<User> list = null;try {list = queue.take();} catch (InterruptedException e) {Thread.interrupted();}if (CollectionUtils.isEmpty(list)) {count++;// 当获取到两次空集合时，说明已经读完if (count == N) {break;}continue;}writer.write(list, writeSheet);}writer.finish();});try {// 阻塞等待完成，异步处理也可以去掉这段代码submit.get();} catch (Exception e) {throw new RuntimeException(e);}}private List<User> findPage(int startNum, int pageSize) {// todo 实现分页查询return new ArrayList<>();}public static class User {private Long id;@ExcelProperty("姓名")private String name;@ExcelProperty("编号")private String number;public Long getId() {return id;}public void setId(Long id) {this.id = id;}public String getName() {return name;}public void setName(String name) {this.name = name;}public String getNumber() {return number;}public void setNumber(String number) {this.number = number;}}}

基于EasyExcel多线程分页导出excel相关推荐

阿里easyexcel通过模板导出excel
easyexcel通过模板导出excel 之前使用其他方式进行excel的导出,像poi或者freemarker或者Beetl,效果都还行,但是总是有一些小问题.许多的解决思路都是:通过制作excel ...
Java分页导出Excel文件
Java分页导出Excel文件 1.开发微信小程序接入广告获取收益技术: Springboot + mongodb + maven +Layui + thymeleaf 上一篇博客已经讲解了Java ...
基于EasyPOI的使用导出Excel
基于EasyPoi的使用导出Excel文件步骤记录首先导入pom依赖 <dependency><groupId>cn.after ...
EasyExcel(二) 导入导出excel的数据格式转换
EasyExcel(二) 导入导出excel的数据格式转换关于easyExcel的基本用法我就不在多说了,有需要的可以自己点击该链接去学习基本的使用,主要对这里面经常用到的一些监听器和拦截器讲一下, ...
海量数据下如何使用多线程的导出 Excel
今日推荐推荐一个 Java 接口快速开发框架干掉Random:这个类已经成为获取随机数的王者Docker + Intellij IDEA,提升 10 倍生产力!笑出腹肌的注释,都是被代码耽误的诗人! ...
EasyExcel导入和导出excel数据表格用法示例
说明:平时项目中经常有需要把excel表格中的数据导入库中,或者需要把查询出来的数据导出到excel文件中,今天就来介绍阿里的 easyexcel 的用法一.SpringBoot集成EasyExce ...
使用jxls分页导出excel
项目有一个导出excel的功能使用的是2003版的,那2003版的excel单个sheet最多只能导出65535条数据,现在项目有一个导出的功能数据会超过65535条.所以需要导出到多个sheet里面 ...
海量数据下如何使用多线程的导出 Excel ？
点击上方"码农突围",马上关注这里是码农充电第一站,回复"666",获取一份专属大礼包真爱,请设置"星标"或点个"在看&quo ...
EasyExcel入门：导出Excel文件
在开发过程中,我们经常需要导出Excel文件,一开始我使用的是Apache POI,通过创建XSSFWorkbook对象来导出Excel数据,但实际使用时发现需要占用较大的内存空间且导出时间较长,于是 ...

基于EasyExcel多线程分页导出excel

基于EasyExcel多线程分页导出excel

Maven依赖

线程池配置

导出代码

基于EasyExcel多线程分页导出excel相关推荐

最新文章

热门文章