阿里开源(EasyExcel)---导出EXCEL - 请叫我猿叔叔的博客 - CSDN博客

https://blog.csdn.net/qq_35206261/article/details/88579151

一. 简介

导出是后台管理系统的常用功能，当数据量特别大的时候会内存溢出和卡顿页面，曾经自己封装过一个导出，POI百万级大数据量EXCEL导出 采用了分批查询数据来避免内存溢出和使用SXSSFWorkbook方式缓存数据到文件上以解决下载大文件EXCEL卡死页面的问题。不过一是存在封装不太友好使用不方便的问题，二是这些poi的操作方式仍然存在内存占用过大的问题,三是存在空循环和整除的时候数据有缺陷的问题，以及存在内存溢出的隐患。无意间查询到阿里开源的EasyExcel框架，发现可以将解析的EXCEL的内存占用控制在KB级别，并且绝对不会内存溢出(内部实现待研究),还有就是速度极快， 大概100W条记录，十几个字段， 只需要70秒即可完成下载。遂抛弃自己封装的，转战研究阿里开源的EasyExcel. 不过 说实话，当时自己封装的那个还是有些技术含量的，例如 外观模式，模板方法模式，以及委托思想，组合思想，可以看看。

EasyExcel的github地址是：https://github.com/alibaba/easyexcel

二. 案例

2.1 POM依赖

com.alibaba

easyexcel

1.1.1

2.2 POJO对象

package com.authorization.privilege.excel;

import java.util.Date;

/**

* @author qjwyss

* @date 2019/3/15

* @description

*/

public class User {

private String uid;

private String name;

private Integer age;

private Date birthday;

public User() {

}

public User(String uid, String name, Integer age, Date birthday) {

this.uid = uid;

this.name = name;

this.age = age;

this.birthday = birthday;

}

public String getUid() {

return uid;

}

public void setUid(String uid) {

this.uid = uid;

}

public String getName() {

return name;

}

public void setName(String name) {

this.name = name;

}

public Integer getAge() {

return age;

}

public void setAge(Integer age) {

this.age = age;

}

public Date getBirthday() {

return birthday;

}

public void setBirthday(Date birthday) {

this.birthday = birthday;

}

}

2.3 测试环境

2.3.1 数据量少的(20W以内吧)：一个SHEET一次查询导出

/**

* 针对较少的记录数(20W以内大概)可以调用该方法一次性查出然后写入到EXCEL的一个SHEET中

* 注意： 一次性查询出来的记录数量不宜过大，不会内存溢出即可。

*

* @throws IOException

*/

@Test

public void writeExcelOneSheetOnceWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream("E:\\temp\\withoutHead1.xlsx");

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName("sheet1");

// 设置标题

Table table = new Table(1);

List> titles = new ArrayList>();

titles.add(Arrays.asList("用户ID"));

titles.add(Arrays.asList("名称"));

titles.add(Arrays.asList("年龄"));

titles.add(Arrays.asList("生日"));

table.setHead(titles);

// 查询数据导出即可 比如说一次性总共查询出100条数据

List> userList = new ArrayList<>();

for (int i = 0; i < 100; i++) {

userList.add(Arrays.asList("ID_" + i, "小明" + i, String.valueOf(i), new Date().toString()));

}

writer.write0(userList, sheet, table);

writer.finish();

}

2.3.2 数据量适中(100W以内)： 一个SHEET分批查询导出

/**

* 针对105W以内的记录数可以调用该方法分多批次查出然后写入到EXCEL的一个SHEET中

* 注意：

* 每次查询出来的记录数量不宜过大，根据内存大小设置合理的每次查询记录数，不会内存溢出即可。

* 数据量不能超过一个SHEET存储的最大数据量105W

*

* @throws IOException

*/

@Test

public void writeExcelOneSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream("E:\\temp\\withoutHead2.xlsx");

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName("sheet1");

// 设置标题

Table table = new Table(1);

List> titles = new ArrayList>();

titles.add(Arrays.asList("用户ID"));

titles.add(Arrays.asList("名称"));

titles.add(Arrays.asList("年龄"));

titles.add(Arrays.asList("生日"));

table.setHead(titles);

// 模拟分批查询：总记录数50条，每次查询20条，  分三次查询 最后一次查询记录数是10

Integer totalRowCount = 50;

Integer pageSize = 20;

Integer writeCount = totalRowCount % pageSize == 0 ? (totalRowCount / pageSize) : (totalRowCount / pageSize + 1);

// 注： 此处仅仅为了模拟数据，实用环境不需要将最后一次分开，合成一个即可， 参数为： currentPage = i+1;  pageSize = pageSize

for (int i = 0; i < writeCount; i++) {

// 前两次查询 每次查20条数据

if (i < writeCount - 1) {

List> userList = new ArrayList<>();

for (int j = 0; j < pageSize; j++) {

userList.add(Arrays.asList("ID_" + Math.random(), "小明", String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (i == writeCount - 1) {

// 最后一次查询 查多余的10条记录

List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (writeCount - 1) * pageSize;

for (int j = 0; j < lastWriteRowCount; j++) {

userList.add(Arrays.asList("ID_" + Math.random(), "小明", String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

}

writer.finish();

}

2.3.3 数据量很大(几百万都行)： 多个SHEET分批查询导出

/**

* 针对几百万的记录数可以调用该方法分多批次查出然后写入到EXCEL的多个SHEET中

* 注意：

* perSheetRowCount % pageSize要能整除  为了简洁，非整除这块不做处理

* 每次查询出来的记录数量不宜过大，根据内存大小设置合理的每次查询记录数，不会内存溢出即可。

*

* @throws IOException

*/

@Test

public void writeExcelMoreSheetMoreWrite() throws IOException {

// 生成EXCEL并指定输出路径

OutputStream out = new FileOutputStream("E:\\temp\\withoutHead3.xlsx");

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置SHEET名称

String sheetName = "测试SHEET";

// 设置标题

Table table = new Table(1);

List> titles = new ArrayList>();

titles.add(Arrays.asList("用户ID"));

titles.add(Arrays.asList("名称"));

titles.add(Arrays.asList("年龄"));

titles.add(Arrays.asList("生日"));

table.setHead(titles);

// 模拟分批查询：总记录数250条，每个SHEET存100条，每次查询20条  则生成3个SHEET，前俩个SHEET查询次数为5， 最后一个SHEET查询次数为3 最后一次写的记录数是10

// 注：该版本为了较少数据判断的复杂度，暂时perSheetRowCount要能够整除pageSize， 不去做过多处理  合理分配查询数据量大小不会内存溢出即可。

Integer totalRowCount = 250;

Integer perSheetRowCount = 100;

Integer pageSize = 20;

Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);

Integer previousSheetWriteCount = perSheetRowCount / pageSize;

Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?

previousSheetWriteCount :

(totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));

for (int i = 0; i < sheetCount; i++) {

// 创建SHEET

Sheet sheet = new Sheet(i, 0);

sheet.setSheetName(sheetName + i);

if (i < sheetCount - 1) {

// 前2个SHEET, 每个SHEET查5次 每次查20条 每个SHEET写满100行  2个SHEET合计200行  实用环境：参数： currentPage: j+1 + previousSheetWriteCount*i, pageSize: pageSize

for (int j = 0; j < previousSheetWriteCount; j++) {

List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList("ID_" + Math.random(), "小明", String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

} else if (i == sheetCount - 1) {

// 最后一个SHEET 实用环境不需要将最后一次分开，合成一个即可， 参数为： currentPage = i+1;  pageSize = pageSize

for (int j = 0; j < lastSheetWriteCount; j++) {

// 前俩次查询 每次查询20条

if (j < lastSheetWriteCount - 1) {

List> userList = new ArrayList<>();

for (int k = 0; k < 20; k++) {

userList.add(Arrays.asList("ID_" + Math.random(), "小明", String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

} else if (j == lastSheetWriteCount - 1) {

// 最后一次查询 将剩余的10条查询出来

List> userList = new ArrayList<>();

Integer lastWriteRowCount = totalRowCount - (sheetCount - 1) * perSheetRowCount - (lastSheetWriteCount - 1) * pageSize;

for (int k = 0; k < lastWriteRowCount; k++) {

userList.add(Arrays.asList("ID_" + Math.random(), "小明1", String.valueOf(Math.random()), new Date().toString()));

}

writer.write0(userList, sheet, table);

}

}

}

}

writer.finish();

}

2.4 生产环境

2.4.0 Excel常量类

package com.authorization.privilege.constant;

/**

* @author qjwyss

* @date 2019/3/18

* @description EXCEL常量类

*/

public class ExcelConstant {

/**

* 每个sheet存储的记录数 100W

*/

public static final Integer PER_SHEET_ROW_COUNT = 1000000;

/**

* 每次向EXCEL写入的记录数(查询每页数据大小) 20W

*/

public static final Integer PER_WRITE_ROW_COUNT = 200000;

}

注： 为了书写方便，此处俩个必须要整除，可以省去很多不必要的判断。  另外如果自己测试，可以改为100,20。

2.4.1 数据量少的(20W以内吧)：一个SHEET一次查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String(("SystemExcel").getBytes(), "UTF-8");

// 设置SHEET名称

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName("系统列表sheet1");

// 设置标题

Table table = new Table(1);

List> titles = new ArrayList>();

titles.add(Arrays.asList("系统名称"));

titles.add(Arrays.asList("系统标识"));

titles.add(Arrays.asList("描述"));

titles.add(Arrays.asList("状态"));

titles.add(Arrays.asList("创建人"));

titles.add(Arrays.asList("创建时间"));

table.setHead(titles);

// 查数据写EXCEL

List> dataList = new ArrayList<>();

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

if (!CollectionUtils.isEmpty(sysSystemVOList)) {

sysSystemVOList.forEach(eachSysSystemVO -> {

dataList.add(Arrays.asList(

eachSysSystemVO.getSystemName(),

eachSysSystemVO.getSystemKey(),

eachSysSystemVO.getDescription(),

eachSysSystemVO.getState().toString(),

eachSysSystemVO.getCreateUid(),

eachSysSystemVO.getCreateTime().toString()

));

});

}

writer.write0(dataList, sheet, table);

// 下载EXCEL

response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");

response.setContentType("multipart/form-data");

response.setCharacterEncoding("utf-8");

writer.finish();

out.flush();

} finally {

if (out != null) {

try {

out.close();

} catch (Exception e) {

e.printStackTrace();

}

}

}

return ResultVO.getSuccess("导出系统列表EXCEL成功");

}

2.4.2 数据量适中(100W以内)： 一个SHEET分批查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String(("SystemExcel").getBytes(), "UTF-8");

// 设置SHEET名称

Sheet sheet = new Sheet(1, 0);

sheet.setSheetName("系统列表sheet1");

// 设置标题

Table table = new Table(1);

List> titles = new ArrayList>();

titles.add(Arrays.asList("系统名称"));

titles.add(Arrays.asList("系统标识"));

titles.add(Arrays.asList("描述"));

titles.add(Arrays.asList("状态"));

titles.add(Arrays.asList("创建人"));

titles.add(Arrays.asList("创建时间"));

table.setHead(titles);

// 查询总数并 【封装相关变量 这块直接拷贝就行 不要改动】

Integer totalRowCount = this.sysSystemReadMapper.selectCountSysSystemVOList(sysSystemVO);

Integer pageSize = ExcelConstant.PER_WRITE_ROW_COUNT;

Integer writeCount = totalRowCount % pageSize == 0 ? (totalRowCount / pageSize) : (totalRowCount / pageSize + 1);

// 写数据 这个i的最大值直接拷贝就行了 不要改

for (int i = 0; i < writeCount; i++) {

List> dataList = new ArrayList<>();

// 此处查询并封装数据即可 currentPage, pageSize这个变量封装好的 不要改动

PageHelper.startPage(i + 1, pageSize);

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

if (!CollectionUtils.isEmpty(sysSystemVOList)) {

sysSystemVOList.forEach(eachSysSystemVO -> {

dataList.add(Arrays.asList(

eachSysSystemVO.getSystemName(),

eachSysSystemVO.getSystemKey(),

eachSysSystemVO.getDescription(),

eachSysSystemVO.getState().toString(),

eachSysSystemVO.getCreateUid(),

eachSysSystemVO.getCreateTime().toString()

));

});

}

writer.write0(dataList, sheet, table);

}

// 下载EXCEL

response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");

response.setContentType("multipart/form-data");

response.setCharacterEncoding("utf-8");

writer.finish();

out.flush();

} finally {

if (out != null) {

try {

out.close();

} catch (Exception e) {

e.printStackTrace();

}

}

}

return ResultVO.getSuccess("导出系统列表EXCEL成功");

}

2.4.3 数据里很大(几百万都行)： 多个SHEET分批查询导出

@Override

public ResultVO exportSysSystemExcel(SysSystemVO sysSystemVO, HttpServletResponse response) throws Exception {

ServletOutputStream out = null;

try {

out = response.getOutputStream();

ExcelWriter writer = new ExcelWriter(out, ExcelTypeEnum.XLSX);

// 设置EXCEL名称

String fileName = new String(("SystemExcel").getBytes(), "UTF-8");

// 设置SHEET名称

String sheetName = "系统列表sheet";

// 设置标题

Table table = new Table(1);

List> titles = new ArrayList>();

titles.add(Arrays.asList("系统名称"));

titles.add(Arrays.asList("系统标识"));

titles.add(Arrays.asList("描述"));

titles.add(Arrays.asList("状态"));

titles.add(Arrays.asList("创建人"));

titles.add(Arrays.asList("创建时间"));

table.setHead(titles);

// 查询总数并封装相关变量(这块直接拷贝就行了不要改)

Integer totalRowCount = this.sysSystemReadMapper.selectCountSysSystemVOList(sysSystemVO);

Integer perSheetRowCount = ExcelConstant.PER_SHEET_ROW_COUNT;

Integer pageSize = ExcelConstant.PER_WRITE_ROW_COUNT;

Integer sheetCount = totalRowCount % perSheetRowCount == 0 ? (totalRowCount / perSheetRowCount) : (totalRowCount / perSheetRowCount + 1);

Integer previousSheetWriteCount = perSheetRowCount / pageSize;

Integer lastSheetWriteCount = totalRowCount % perSheetRowCount == 0 ?

previousSheetWriteCount :

(totalRowCount % perSheetRowCount % pageSize == 0 ? totalRowCount % perSheetRowCount / pageSize : (totalRowCount % perSheetRowCount / pageSize + 1));

for (int i = 0; i < sheetCount; i++) {

// 创建SHEET

Sheet sheet = new Sheet(i, 0);

sheet.setSheetName(sheetName + i);

// 写数据 这个j的最大值判断直接拷贝就行了，不要改动

for (int j = 0; j < (i != sheetCount - 1 ? previousSheetWriteCount : lastSheetWriteCount); j++) {

List> dataList = new ArrayList<>();

// 此处查询并封装数据即可 currentPage, pageSize这俩个变量封装好的 不要改动

PageHelper.startPage(j + 1 + previousSheetWriteCount * i, pageSize);

List sysSystemVOList = this.sysSystemReadMapper.selectSysSystemVOList(sysSystemVO);

if (!CollectionUtils.isEmpty(sysSystemVOList)) {

sysSystemVOList.forEach(eachSysSystemVO -> {

dataList.add(Arrays.asList(

eachSysSystemVO.getSystemName(),

eachSysSystemVO.getSystemKey(),

eachSysSystemVO.getDescription(),

eachSysSystemVO.getState().toString(),

eachSysSystemVO.getCreateUid(),

eachSysSystemVO.getCreateTime().toString()

));

});

}

writer.write0(dataList, sheet, table);

}

}

// 下载EXCEL

response.setHeader("Content-disposition", "attachment;filename=" + fileName + ".xlsx");

response.setContentType("multipart/form-data");

response.setCharacterEncoding("utf-8");

writer.finish();

out.flush();

} finally {

if (out != null) {

try {

out.close();

} catch (Exception e) {

e.printStackTrace();

}

}

}

return ResultVO.getSuccess("导出系统列表EXCEL成功");

}

三、总结

造的假数据，100W条记录，18个字段，测试导出是70s。  在实际上产环境使用的时候，具体的还是要看自己写的sql的性能。 sql性能快的话，会很快。 有一点推荐一下： 在做分页的时候使用单表查询， 对于所需要处理的外键对应的冗余字段，在外面一次性查出来放到map里面(推荐使用@MapKey注解)，然后遍历list的时候根据外键从map中获取对应的名称。一个宗旨：少发查询sql, 才能更快的导出。

题外话： 如果数据量过大，在使用count(1)查询总数的时候会很慢，可以通过调整mysql的缓冲池参数来加快查询，请参见博主的另一篇博文MYSQL单表数据量过大查询过慢配置优化innodb_buffer_pool_size。  还有就是遇到了一个问题，使用pagehelper的时候，数据量大的时候，limit 0,20W;  limit 20W,40W,  limit 40W,60W, limit 60W,80W 查询有的时候会很快，有的时候会很慢，待研究。

---------------------

作者：请叫我猿叔叔

来源：CSDN

原文：https://blog.csdn.net/qq_35206261/article/details/88579151

版权声明：本文为博主原创文章，转载请附上博文链接！

easyexcel 在 设置标题_阿里开源（EasyExcel）相关推荐

  1. easyexcel 在 设置标题_七. EasyExcel标题加批注和标题字体填充红色

    一, 概述 在日常开发中, 经常会碰到导入导出的场景, 有导入就肯定有导入模板, 本文将介绍利用EasyExcel给标题添加批注和挑剔字体填充颜色 二. 代码 2.1 编写样式处理类: TitleHa ...

  2. 阿里开源 EasyExcel(Excel导入导出 推荐使用)

    二.阿里开源 EasyExcel 使用可以直接看(点击)官方文档 github地址:(https://github.com/alibaba/easyexcel Java解析.生成Excel比较有名的框 ...

  3. easyexcel 设置标题_使用easyexcel完成复杂表头及标题的导出功能(自定义样式)

    如需客户端指定excel版本,只需要判断后缀名然后在controller中的.excelType(ExcelTypeEnum.XLS)做指定输出内容格式即可 ***(注意表格行高列宽统一设置是在实体类 ...

  4. 阿里开源(EasyExcel)：使用Java将数据导出为Excel表格、带样式----》java web下载 Excel文件

    目录 一.技术选型 二.实现过程 1.导入依赖 2.编写工具类 EasyExcelUtil 3.公用参数类 EasyExcelParams 4.表格样式实体类 MyWriteHandler 5.数据实 ...

  5. easyexcel 在 设置标题_EasyExcel，让excel导入导出更加简单

    EasyExcel 在做excel导入导出的时候,发现项目中封装的工具类及其难用,于是去gitHub上找了一些相关的框架,最终选定了EasyExcel.之前早有听闻该框架,但是一直没有去了解,这次借此 ...

  6. seata xid是什么_阿里开源的分布式事务框架 Seata

    1. Seata 概述 Seata 是 Simple Extensible Autonomous Transaction Architecture 的简写,由 feascar 改名而来. Seata ...

  7. easyexcel 导出设置标题_GitHub - niaobulashi/easy-excel: excel实现导入导出配置型通用方法项目...

    #easy-excel ** 关于与Spring集成只需要加入下面配置** 一.poi-jar包依赖 3.14 org.apache.poi poi ${poi.version} org.apache ...

  8. easyexcel 在 设置标题_EasyExcel 自定义单元格式的问题。

    packagecom.kit;import--public classExcelKit {public static void parseExcelAndSave(ListapiStatusVOS,S ...

  9. easyexcel 导出设置标题_EasyPoi设置Excel导出样式(边框,背景色,字体)

    **导出样式如下图** **使用方式** 创建一个样式工具类.工具类如下: import cn.afterturn.easypoi.excel.entity.params.ExcelExportEnt ...

最新文章

  1. android 瀑布流的实现(用recyclerview的实现的)
  2. U-boot中常用参数设定及常用宏的解释和说明
  3. Android-HttpURLConnection自己主动管理cookie
  4. 使用maven编译YCSB0.1.4对cassandra进行性能测试
  5. mysql 查询缓存
  6. eclipse中Android模拟器常见的问题解决方法汇总
  7. android 内核态
  8. python获取系统当前时间并转utc时间为绝对秒数_用Python将datetime.date转换为UTC时间戳...
  9. TensorFlow：实战Google深度学习框架（一）计算、数据、运行模型
  10. 计算机文本专业,15计算机专业2文字录入期中考试卷
  11. 如何确定C语言中数组的大小？
  12. IOS － 单例模式+多线程
  13. lena.raw图片文件下载及打开方式
  14. JDK11 JAVA11下载安装与快速配置环境变量教程
  15. Android模拟器中实现音、视频文件的断点播放
  16. VKD233HS是一款超小体积单键/1路单通道触摸触控IC DFN6封装2*2mm，适用TWS蓝牙耳机入耳检测/单键触摸，定位手环手表等
  17. 1-计算机是如何工作的？
  18. 制作excle报盘模板
  19. 整理 node-sass 安装失败的原因及解决办法
  20. GMSSL ：SM2椭圆曲线公钥密码算法——数字签名算法1

热门文章

  1. 介绍MFSideMenu左右滑动控件的使用
  2. 10g中如何修改数据库字符集-2
  3. python需要什么包装_python学习之包装与授权
  4. 软件培训技术选哪个？
  5. Gradle笔记——Gradle的简介与安装
  6. git 上传代码到码云
  7. 什么是mybatis，mybatis有什么特点
  8. 圣三一学院计算机专业,360教育集团：爱尔兰都柏林大学圣三一学院计算机专业...
  9. java8 json转xml_2019-08-17java对象与json,xml互转
  10. java 马克思_单链表-Java