Mybatis 批量插入
insert, update 和 delete
前文我们说到了select标签，以及一些复杂查询的处理。本文我们主要讨论一下Mybatis的批量插入操作。在这之前，我们还是得先了解insert, update 和 delete标签。
<insertid="insertAuthor"parameterType="domain.blog.Author"flushCache="true"statementType="PREPARED"keyProperty=""keyColumn=""useGeneratedKeys=""timeout="20"><updateid="updateAuthor"parameterType="domain.blog.Author"flushCache="true"statementType="PREPARED"timeout="20"><deleteid="deleteAuthor"parameterType="domain.blog.Author"flushCache="true"statementType="PREPARED"timeout="20">
| 属性 | 描述 |
|---|---|
| id | 在命名空间中唯一的标识符，可以被用来引用这条语句。 |
| parameterType | 将会传入这条语句的参数的类全限定名或别名。这个属性是可选的，因为 MyBatis 可以通过类型处理器（TypeHandler）推断出具体传入语句的参数，默认值为未设置（unset）。 |
| flushCache | 将其设置为 true 后，只要语句被调用，都会导致本地缓存和二级缓存被清空，默认值：（对 insert、update 和 delete 语句）true。 |
| timeout | 这个设置是在抛出异常之前，驱动程序等待数据库返回请求结果的秒数。默认值为未设置（unset）（依赖数据库驱动）。 |
| statementType | 可选 STATEMENT，PREPARED 或 CALLABLE。这会让 MyBatis 分别使用 Statement，PreparedStatement 或 CallableStatement，默认值：PREPARED。 |
| useGeneratedKeys | （仅适用于 insert 和 update）这会令 MyBatis 使用 JDBC 的 getGeneratedKeys 方法来取出由数据库内部生成的主键（比如：像 MySQL 和 SQL Server 这样的关系型数据库管理系统的自动递增字段），默认值：false。 |
| keyProperty | （仅适用于 insert 和 update）指定能够唯一识别对象的属性，MyBatis 会使用 getGeneratedKeys 的返回值或 insert 语句的 selectKey 子元素设置它的值，默认值：未设置（unset）。如果生成列不止一个，可以用逗号分隔多个属性名称。 |
| keyColumn | （仅适用于 insert 和 update）设置生成键值在表中的列名，在某些数据库（像 PostgreSQL）中，当主键列不是表中的第一列的时候，是必须设置的。如果生成列不止一个，可以用逗号分隔多个属性名称。 |
| databaseId | 如果配置了数据库厂商标识（databaseIdProvider），MyBatis 会加载所有不带 databaseId 或匹配当前 databaseId 的语句；如果带和不带的语句都有，则不带的会被忽略。 |
普通的修改和删除都非常简单，这里我们不再赘述。我们主要来讨论讨论插入操作。
新建一张测试表t_my_emp
单条数据的插入
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapperPUBLIC "-//mybatis.org//DTD Mapper 3.0//EN""http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<!-- namespace我们对应到了我们的EmpMapper接口 -->
<mapper namespace="com.yyoo.mybatis.mapper.MyEmpMapper"><insert id="insert" parameterType="MyEmp">insert into t_my_emp(name,age,sex)values(#{name},#{age},#{sex})</insert></mapper>
public class Demo6 {public static void main(String[] args) throws IOException {String resouce = "mybatis-config.xml";InputStream in = Resources.getResourceAsStream(resouce);SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);SqlSession session = sqlSessionFactory.openSession();try{MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);long start = System.currentTimeMillis();int num = 100;for (int i = 0;i < num;i++) {Random random = new Random();MyEmp myEmp = new MyEmp();myEmp.setName(AutoNameUtil.autoSurAndName());myEmp.setAge(random.nextInt(50) + 15);// 15岁及以上myEmp.setSex(random.nextInt(2));empMapper.insert(myEmp);}session.commit();long end = System.currentTimeMillis();System.out.println("直接insert执行时间："+(end - start));}catch (Exception e){e.printStackTrace();session.rollback();}finally {session.close();}}}
因为数据库设置了id自增（mysql）所以id属性可以不用传。但如果我们的id是使用的序列来实现的，每次插入前需要查询一次序列的值，再或者我们的id每次插入时是现有的最大id+1怎么办？
使用selectKey标签
<insert id="insert" parameterType="MyEmp"><!-- keyProperty主键的字段名称，order=before表示在insert之前执行 --><selectKey keyProperty="id" resultType="int" order="BEFORE" statementType="PREPARED">select ifnull(max(id),0) + 1 from t_my_emp</selectKey>insert into t_my_emp(id,name,age,sex)values(#{id},#{name},#{age},#{sex})</insert>
public static void main(String[] args) throws IOException {String resouce = "mybatis-config.xml";InputStream in = Resources.getResourceAsStream(resouce);SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);SqlSession session = sqlSessionFactory.openSession();try{MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);Random random = new Random();MyEmp myEmp = new MyEmp();myEmp.setName(AutoNameUtil.autoSurAndName());myEmp.setAge(random.nextInt(50)+15);// 15岁及以上myEmp.setSex(random.nextInt(2));// 不用设置idempMapper.insert(myEmp);session.commit();// 提交事务，否则插入不成功}catch (Exception e){e.printStackTrace();session.rollback();}finally {session.close();}}
这种写法在批量插入的时候就会在通过java代码来循环执行empMapper.insert。
AutoNameUtil类是随机生成姓名的工具类，请查看Java生成随机常用汉字或姓名一文
使用foreach标签批量插入
<insert id="insertForeach">insert into t_my_emp(name,age,sex)values<foreach item="myEmp" collection="myEmpList" separator=",">(#{myEmp.name},#{myEmp.age},#{myEmp.sex})</foreach></insert>
public interface MyEmpMapper {int insert(MyEmp myEmp);int insertForeach(@Param("myEmpList") List<MyEmp> myEmpList);
}public class Demo8 {public static void main(String[] args) throws IOException {String resouce = "mybatis-config.xml";InputStream in = Resources.getResourceAsStream(resouce);SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);SqlSession session = sqlSessionFactory.openSession();try{MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);int num = 100;List<MyEmp> list = new ArrayList<>();for(int i = 0; i < num; i++) {Random random = new Random();MyEmp myEmp = new MyEmp();myEmp.setName(AutoNameUtil.autoSurAndName());myEmp.setAge(random.nextInt(50) + 15);// 15岁及以上myEmp.setSex(random.nextInt(2));list.add(myEmp);}long startTime = System.currentTimeMillis();empMapper.insertForeach(list);session.commit();long endTime = System.currentTimeMillis();System.out.println("批量执行时间："+(endTime - startTime));}catch (Exception e){e.printStackTrace();session.rollback();}finally {session.close();}}
}轻松插入100000条数据。而且速度还很快。有兴趣可以去试试循环执行Mapper.insert方法的插入，看看时间的差距。
以上插入时id值我们使用的mysql的自增id，此时不能使用selectKey标签了。如果不想使用mysql的自增id，这样大批量插入的情况下请使用分布式id。
使用ExecutorType.BATCH
public class Demo9 {public static void main(String[] args) throws IOException {String resouce = "mybatis-config.xml";InputStream in = Resources.getResourceAsStream(resouce);SqlSessionFactory sqlSessionFactory = new SqlSessionFactoryBuilder().build(in);SqlSession session = sqlSessionFactory.openSession(ExecutorType.BATCH);try{MyEmpMapper empMapper = session.getMapper(MyEmpMapper.class);long start = System.currentTimeMillis();int num = 1000000;for (int i = 0;i < num;i++) {Random random = new Random();MyEmp myEmp = new MyEmp();myEmp.setName(AutoNameUtil.autoSurAndName());myEmp.setAge(random.nextInt(50) + 15);// 15岁及以上myEmp.setSex(random.nextInt(2));empMapper.insert(myEmp);}// 立即执行更新，执行后清除BATCH模式缓存的sql语句session.flushStatements();session.commit();long end = System.currentTimeMillis();System.out.println("直接insert执行时间："+(end - start));}catch (Exception e){e.printStackTrace();session.rollback();}finally {session.close();}}
}
springBoot下设置BATCH模式
@Bean("sqlSessionTemplate")public SqlSessionTemplate sqlSessionTemplate(SqlSessionFactory factory) {// 使用上面配置的Factory ，并且设置Template为BATCH方式SqlSessionTemplate template = new SqlSessionTemplate(factory, ExecutorType.BATCH);return template;}
执行时间对比
| 执行方式 | 100条 | 1000条 | 1w条 | 10w条 | 100w条 |
|---|---|---|---|---|---|
| 循环insert | 475ms | 1054ms | 4342ms | 29350ms | 279170ms |
| foreach插入 | 413ms | 499ms | 976ms | 2913ms | 报错(sql语句太大了) |
| BATCH插入 | 385ms | 583ms | 2255ms | 14492ms | 149447ms |
为了结果的准确性，每次执行前我都将已经插入的数据删除重新插入。
从结果可以看出，foreach 和 BATCH方式在大量数据插入时效率较高。但是foreach在生成的sql语句太长（也就是字符串打大小超过限制之后会报异常），而BATCH的方式不会出现异常。注意：我们的表结构非常简单，实际情况下，表字段可能比较多，那么foreach方式可能在10w条的时候就会报错了。
结论：在数据量级不是特别大的时候推荐使用foreach方式，在数据量级非常大的时候可以使用BATCH方式。批量插入请勿使用循环insert的方式进行。
其实看对比结果foreach方式优势明显，只是数据量过大的时候会报错，那么如果在批量数据的事务要求并不严格的情况下，可以将超大量的数据分批次，按foreach的方式插入，是个不错的解决办法。以上面的时间来看，100w条数据的时间为2913*10=29130ms，远远比149447ms小的多。
上一篇：Mybatis resultMap复杂查询结果映射
下一篇：Spring Boot整合Mybatis
Mybatis 批量插入相关推荐
- 批量插入数据库语句java_java相关：MyBatis批量插入数据到Oracle数据库中的两种方式(实例代码)...
java相关:MyBatis批量插入数据到Oracle数据库中的两种方式(实例代码) 发布于 2020-7-22| 复制链接 本文通过实例代码给大家分享了MyBatis批量插入数据到Oracle数据库 ...
- mybatis批量插入(insert)和批量更新(update)
文章目录 一.Mybatis批量插入 二.批量更新 前言:这两天在做mybatis批量插入和更新的时候,对这块不是很清楚,所以今天写篇文章,巩固加深印象. 一.Mybatis批量插入 批量插入的sql ...
- oracle批量插入报错,[数据库]Mybatis 批量插入数据 关于Oracle 批量插入报错：ORA
[数据库]Mybatis 批量插入数据 关于Oracle 批量插入报错:ORA 0 2020-08-19 08:00:06 Mybatis 批量插入数据 关于Oracle 批量插入报错:ORA-009 ...
- 【SpringBoot项目中使用Mybatis批量插入百万条数据】
SpringBoot项目中使用Mybatis批量插入百万条数据 话不多说,直接上代码,测试原生批处理的效率 开始测试 背景:因为一些业务问题,需要做多数据源,多库批量查询.插入操作,所以就研究了一下. ...
- MyBatis批量插入（sqlserver BULK INSERT）
MyBatis批量插入: 1. foreach方式 2.sqlsession + sqlsession.flushStatements方式: // SqlSession sqlSessi ...
- MyBatis - 批量插入
由于MyBatis的本质是对JDBC的封装,所以从JDBC的原生来看此问题~ 一.原生JDBC插入两种方式 conn.setAutoCommit(false); //设置手动提交 //预编译sql对象 ...
- Mybatis 批量插入报ORA-00933: SQL 命令未正确结束
Mybatis 批量插入报ORA-00933: SQL 命令未正确结束 错误出现的场景是这样的,将多个月份的1000条数据分别插入到各月份表中. MySQL中,批量插入数据到表,会在一定程度提高效率. ...
- 解决Oracle+Mybatis批量插入报错：SQL 命令未正确结束
Mybatis批量插入需要foreach元素.foreach元素有以下主要属性: (1)item:集合中每一个元素进行迭代时的别名. (2)index:指定一个名字,用于表示在迭代过程中,每次迭代到的 ...
- MyBatis 批量插入数据的 3 种方法
批量插入功能是我们日常工作中比较常见的业务功能之一,之前我也写过一篇关于<MyBatis Plus 批量数据插入功能,yyds!>的文章,但评论区的反馈不是很好,主要有两个问题:第一,对 ...
- Mybatis 批量插入事物问题
一.首先对于批量数据的插入有两种解决方案(下面内容只讨论和Mysql交互的情况) 1)for循环调用Dao中的单条插入方法 2)传一个List<Object>参数,使用Mybatis的批量 ...
最新文章
- 力扣(LeetCode)刷题，简单题(第27期)
- Azure 怎么开通FTP
- 获取某个view的高度或者宽度
- 数据结构实验之链表五：单链表的拆分
- TypeScript 的 type predicates
- 2.Flask-jinjia2模板
- Listener 快速开始
- .NET 设计规范--.NET约定、惯用法与模式--5.成员设计
- fuelux.tree，动态加载
- PTA是什么？BT-WIFI共存 转帖
- MikroTik RouterOS安装chr授权到阿里云虚拟机（转）
- 排序算法入门之堆排序
- google翻译自动检测语言翻译成中文
- 每台计算机需要配置网关吗,怎么设置一台电脑作为网关
- Iphone快捷指令示例：自动更换墙纸并叠放近期日程在墙纸上
- SCI写作之方法部分method
- H5小游戏《看你有多色》扩展（辅助、眼力）
- PAT 甲级 1018 Public Bike Management
- wps设置默认打开方式
- 小节点也能引爆活动！2021四月活动指导方案