哪些情况会影响数据插入的效率

1.单次客户端与服务端之间的通信

2. mysql对主键、唯一索引、外键的校验

3. 事务检查

4. 单线程处理业务并封装sql数据（比较耗时）

针对以上情况解决方案

1.将单次插入数据操作修改为批量操作（load加载数据比批量新增数据效率更高）,可以减少client与server的通信消耗。

1.1 修改bulk_insert_buffer_size参数

# 修改insert缓存池长度，可以大批量的新增数据
set bulk_insert_buffer_size = 53687091200;
# 需要超级权限
set GLOBAL concurrent_insert = 2;

2.关闭唯一索引、主键、外键校验

必须保证数据库主键的唯一情况下，才可使用此属性。及时关闭此属性mysql依然会检查主键唯一性

 set unique_checks = 0;set forei

mysql批量插入亿级别的数据相关推荐

mysql 批量插入亿级数据做测试用
mysql 批量插入亿级数据做测试用表结构: -- 性能提升 SELECT COUNT(*) from `user`.`user` ; SHOW VARIABLES; set session bu ...
向Mysql批量插入50万条数据
>批量插入数据脚本表Sql: CREATE TABLE dept( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, deptno MEDIUMINT U ...
Mysql批量插入数据问题解决和优化
Mysql批量插入数据问题解决和优化一.问题描述项目中mysql批量插入大概50000左右数据,使用事务和批量,但是速度依旧很慢,大约60s左右,迫切希望改进这个问题. 二.问题原因尽管是批量a ...
Mysql 批量插入大量数据的两种方案以及优缺点（分别是 5W 条数据和 10W 条数据）
Mysql 批量插入(5W 条数据和 10W 条数据) 1.批量插入思路一般是有两种不同的思路: 1.for 循环批量插入 2.生成一条 SQL 语句,比如 insert into user(id, ...
JAVA向Mysql插入亿级别数据---测评
http://blog.csdn.net/q6834850/article/details/73726707 版权声明:本文为博主原创文章,未经博主允许不得转载. 目录(?)[+] 利用JAVA向My ...
MySQL快速插入亿级数据
MySQL快速插入亿级数据前言通常我们会有这样的需求:构造数据,大批量插入数据库,以供后续处理.如果是几万几十万的数据那还好说,但如果是上千万上亿的数据,那么我们对速度的追求就更加迫切. 这里我们 ...
教你急速快速批量插入1000万条数据到mysql数据库表面试题
急速快速批量插入1000万条数据到mysql数据库表面试题教你急速快速批量插入1000万条数据到mysql数据库表&面试题我用到的数据库为,mysql数据库5.7版本的 1.首先自己准备好 ...
MySQL批量插入1000w条数据
一.概述在一些实际的测试.运维过程中,往往需要向数据库插入大量数据,利用存储过程是一个不错的选择本次采用MySQL5.7,模拟实际批量插入1000w条随机数据二.创建库 mysql -uroot ...
mysql批量插入数据的函数和存储过程
-- 创建函数前,设置 set global log_bin_trust_function_creators=TRUE; -- 新建函数-产生随机的字符串 drop function if exist ...

mysql批量插入亿级别的数据

哪些情况会影响数据插入的效率

1.单次客户端与服务端之间的通信

2. mysql对主键、唯一索引、外键的校验

3. 事务检查

4. 单线程处理业务并封装sql数据（比较耗时）

针对以上情况解决方案

1.将单次插入数据操作修改为批量操作（load加载数据比批量新增数据效率更高）,可以减少client与server的通信消耗。

1.1 修改bulk_insert_buffer_size参数

2.关闭唯一索引、主键、外键校验

mysql批量插入亿级别的数据相关推荐

最新文章

热门文章