MySQL百万级数据大分页查询优化
前言:在数据库开发过程中我们经常会使用分页,核心技术是使用用limit start, count分页语句进行数据的读取。
一、MySQL分页起点越大查询速度越慢
直接用limit start, count分页语句,表示从第start条记录开始选择count条记录 :
select * from product limit start, count
当起始页较小时,查询没有性能问题,我们分别看下从10, 1000, 10000, 100000开始分页的执行时间(每页取20条)。
select * from product limit 10, 20 0.002秒
select * from product limit 1000, 20 0.011秒
select * from product limit 10000, 20 0.027秒
select * from product limit 100000, 20 0.057秒
我们已经看出随着起始记录的增加,时间也随着增大, 这说明分页语句limit跟起始页码是有很大关系的,那么我们把起始记录改为100w看下:
select * from product limit 1000000, 20 0.682秒
我们惊讶的发现MySQL在数据量大的情况下分页起点越大查询速度越慢,300万条起的查询速度已经需要1.368秒钟。这是为什么呢?因为limit 3000000,10的语法实际上是mysql扫描到前3000020条数据,之后丢弃前面的3000000行,这个步骤其实是浪费掉的。
select * from product limit 3000000, 20 1.368秒
从中我们也能总结出两件事情:
limit语句的查询时间与起始记录的位置成正比
mysql的limit语句是很方便,但是对记录很多的表并不适合直接使用。
二、 limit大分页问题的性能优化方法(TODO)
(1)利用表的覆盖索引来加速分页查询
MySQL的查询完全命中索引的时候,称为覆盖索引,是非常快的。因为查询只需要在索引上进行查找,之后可以直接返回,而不用再回表拿数据。在我们的例子中,我们知道id字段是主键,自然就包含了默认的主键索引。现在让我们看看利用覆盖索引的查询效果如何。
select id from product limit 1000000, 20 (时间有毒,居然比select * 还慢,待我查证一下)
那么如果我们也要查询所有列,如何优化?
优化的关键是要做到让MySQL每次只扫描20条记录,我们可以使用limit n,这样性能就没有问题,因为MySQL只扫描n行。我们可以先通过子查询先获取起始记录的id,然后根据Id拿数据:
select * from vote_record where id>=(select id from vote_record limit 1000000,1) limit 20;
(2)用上次分页的最大id优化
先找到上次分页的最大ID,然后利用id上的索引来查询,类似于:
select * from user where id>1000000 limit 100
三、MySQL百万数据快速生成
利用mysql内存表插入速度快的特点,先利用函数和存储过程在内存表中生成数据,然后再从内存表插入普通表中
3.1、创建内存表及普通表
//内存表
CREATE TABLE `vote_record_memory` (`id` INT (11) NOT NULL AUTO_INCREMENT,`user_id` VARCHAR (20) NOT NULL,`vote_id` INT (11) NOT NULL,`group_id` INT (11) NOT NULL,`create_time` datetime NOT NULL,PRIMARY KEY (`id`),KEY `index_id` (`user_id`)
) ENGINE = MEMORY AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8//普通表
CREATE TABLE `vote_record` (`id` INT (11) NOT NULL AUTO_INCREMENT,`user_id` VARCHAR (20) NOT NULL,`vote_id` INT (11) NOT NULL,`group_id` INT (11) NOT NULL,`create_time` datetime NOT NULL,PRIMARY KEY (`id`),KEY `index_user_id` (`user_id`)
) ENGINE = INNODB AUTO_INCREMENT = 1 DEFAULT CHARSET = utf8
3.2、创建函数
//创建函数
CREATE FUNCTION `rand_string`(n INT) RETURNS varchar(255) CHARSET latin1
BEGIN
DECLARE chars_str varchar(100) DEFAULT 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789';
DECLARE return_str varchar(255) DEFAULT '' ;
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str = concat(return_str,substring(chars_str , FLOOR(1 + RAND()*62 ),1));
SET i = i +1;
END WHILE;
RETURN return_str;
END
3.3、创建插入内存表数据的存储过程
#创建插入内存表数据存储过程,入参n是多少就插入多少条数据
CREATE PROCEDURE `add_vote_memory`(IN n int)
BEGINDECLARE i INT DEFAULT 1;WHILE (i <= n) DOINSERT into vote_record_memory (user_id,vote_id,group_id,create_time ) VALUEs (rand_string(20),FLOOR(RAND() * 1000),FLOOR(RAND() * 100) ,now() );set i=i+1;END WHILE;END
3.4、创建内存表数据插入普通表的存储过程
此处利用对内存表的循环插入和删除来实现批量生成数据,这样可以不需要更改mysql默认的max_heap_table_size值也照样可以生成百万或者千万的数据。
max_heap_table_size默认值是16M。
max_heap_table_size的作用是配置用户创建内存临时表的大小,配置的值越大,能存进内存表的数据就越多。
#循环从内存表获取数据插入普通表
#参数描述 n表示循环调用几次;count表示每次插入内存表和普通表的数据量CREATE PROCEDURE `add_vote_memory_to_common`(IN n int, IN count int)BEGINDECLARE i INT DEFAULT 1;WHILE (i <= n) DOCALL add_vote_memory(count);INSERT INTO vote_record SELECT * FROM vote_record_memory;delete from vote_record_memory;SET i = i + 1;END WHILE;END
3.5、运行存储过程插入数据
#循环调用100次,每次插入1W条数据
add_vote_memory_to_vote(100,10000);
插入一百万条数据,花了2分半钟:
我执行了两次,查询vote_record表的行记录总数为两百万条:
参考链接:
MySQL的limit使用及解决超大分页问题
MySQL优化之limit分页
mysql 快速生成百万条测试数据
mysql 如何快速生成百万测试数据
MySQL百万级数据大分页查询优化相关推荐
- MySQL 百万级数据量分页查询方法及其优化
来源:http://sina.lt/gauW 方法1: 直接使用数据库提供的SQL语句 语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N 适应场景: 适 ...
- MySQL百万级数据查询
MySQL百万级数据排序分页查询 1. 需求 按照成绩降序排序,查询字段学号(id),姓名(name),分数(score),带排序的分页查询 数据大小:五百万条 2. 初始状态 浅分页: # 浅分页 ...
- Mysql - 百万级数据查询优化笔记 (PHP Script) ②
Mysql - 百万级数据查询优化笔记 (PHP Script) ② 说明:要处理的是在一个脚本中统计的年度账单,和上一篇的处理思路完全 不同,先把全量取出,再按字典形式拼接,10w条数据只需要668 ...
- Mysql 百万级数据优化资料
Mysql 百万级数据优化资料 一.我们可以且应该优化什么? 硬件 操作系统/软件库 SQL服务器(设置和查询) 应用编程接口(API) 应用程序 -------------------------- ...
- php mysql百万级数据_php+mysql百万级数据怎么排序_PHP教程
php+mysql百万级数据如何排序? php+mysql百万级数据分页.因涉及多表多条件联合查询.谁能帮忙优化下面的查询语句. if(empty($wheresql)){ $wheresql=&qu ...
- mysql百万级数据查询优化实践-从开始到开除
在某个项目中,订单表每天会产生5-10万条记录. 先前对大数据查询没多少处理经验,碰到难以查动的统计数据通常是建一张表,定时统计一次.或者写存储过程,优化查询过程. 按照以往一贯思路,建表,加索引. ...
- php mysql百万级数据_PHP+MySQL百万级数据插入的优化
插入分析 MySQL中插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例: 连接:(3) 发送查询给服务器:(2) 分析查询:(2) 插入记录:(1x记录大小) 插入索引:(1x索引) 关闭 ...
- MySQL百万级数据分页查询及优化
点击蓝色"程序猿DD"关注我哟 加个"星标",不忘签到哦 来源:https://www.cnblogs.com/geningchao 关注我,回复口令获取可获取 ...
- mysql 大分页查询优化_Mysql骚操作:优化大分页查询
背景 系统结构如上图.经过排查是因为系统B拉取数据时间太长导致的推送超时. 系统B拉取数据的方法是根据_tiemstamp(数据操作时间)分页查询系统A的接口,即: 1SELECT 字段名2FROM ...
最新文章
- 记录一下python-opencv-ArUco-Apriltag
- c/c++中const用法总结
- [html] 你知道微信端的浏览器内核是什么吗?
- 面试精讲之面试考点及大厂真题 - 分布式专栏 08 Redis中有哪些数据结构及底层实现原理
- 李洪强-C语言5-函数
- 单利计算与复利计算程序
- Python 实现数据结构中的单链表,循环单链表,双链表
- 未找到“SocialiteProviders \ Manager \ ServiceProvider”类
- 强强联合!蚂蚁金服与新炬网络战略合作,共同致力于国产数据库的技术推广和生态建设
- mysql模糊匹配关键字_MySQL 关键字模糊匹配,并按照匹配度排序
- 安卓游戏广告加速插件_从零登顶免费榜榜首 这款头条发行的“特牛”超休闲游戏是如何做到的? | 游戏茶馆...
- 聚类总结(中)——密度聚类
- 中国银行网点全集数据
- WPS-word使用多级编号级联
- 热评云厂商:网易数帆8.5亿元,企业数字化服务带来差异化
- 我的PCB设计经验——奥研电子整理
- 标签助手(TagHelper)
- WIN10下删除Hiberfil.sys文件
- 布莱叶盲文-谷歌生态
- 一部手机全搞定,抖音发工资了,一共2千多,方法人人可以用