同事问我,SQL 语句明明命中了索引,为什么执行很慢?
我们都知道,业务开发涉及到数据库的SQL
操作时,一定要 review
是否命中索引。否则,会走 全表扫描
,如果表数据量很大时,会慢的要死。
假如命中了索引呢?是不是就不会有慢查询?
殊不知,我们习以为常的常识有时也会误导我们!
人生好难!
聊这个话题,要有一定技术基础,需了解 B+ 树的存储结构
如果不是很清楚的话,先看下之前一篇文章,有详细介绍
面试题:mysql 一棵 B+ 树可以存多少条数据?
1、工作准备:建表,造数据
首先创建一张 user 表,并创建一个 id
的主键索引,和一个 user_name
的普通索引。
CREATE TABLE `user` (`id` bigint(20) NOT NULL AUTO_INCREMENT,`user_name` varchar(128) NOT NULL DEFAULT '' COMMENT '用户名',`age` int(11) NOT NULL COMMENT '年龄',`address` varchar(128) COMMENT '地址',PRIMARY KEY (`id`),key `idx_user_name` (user_name),
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用户表';
启动程序,往 user
表中插入 10000 条数据。
@GetMapping("/insert_batch")
public Object insertBatch(@RequestParam("batch") int batch) {for (int j = 1; j <= batch; j++) {List<User> userList = new ArrayList<>();for (int i = 1; i <= 100; i++) {User user = User.builder().userName("Tom哥-" + ((j - 1) * 100 + i)).age(29).address("上海").build();userList.add(user);}userMapper.insertBatch(userList);}return "success";
}
2、慢查询
在分析原因前,我们先来了解 mysql 慢查询是什么?如何定义的?
慢查询定义:
MySQL的慢查询日志是MySQL提供的一种日志记录,用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。
慢查询相关参数:
slow_query_log:是否开启慢查询日志,1表示开启,0表示关闭。
log-slow-queries:旧版(5.6以下版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
slow-query-log-file:新版(5.6及以上版本)MySQL数据库慢查询日志存储路径。可以不设置该参数,系统则会默认给一个缺省的文件host_name-slow.log
long_query_time:慢查询阈值,当查询时间高于设定的阈值时,记录到日志
log_queries_not_using_indexes:未使用索引的查询也被记录到慢查询日志中(可选项)
默认情况下slow_query_log
的值为OFF,表示慢查询日志是禁用的,可以通过设置slow_query_log
的值来开启,如下所示:
使用set global slow_query_log=1 开启了慢查询日志只对当前数据库生效,如果MySQL重启后则会失效。如果要永久生效,必须修改配置文件 my.cnf
long_query_time
的默认值为10 秒,支持二次修改。线上我们一般会设置成1秒,如果业务对延迟敏感的话,我们根据需要设置一个更低的值。
3、开始实验
首先看下以下几种场景的SQL语句执行时,索引的命中情况。
1、执行explain select * from user;
,发现 key
这列为NULL,说明了没有命中索引,走了全表扫描。
2、执行 explain select * from user where id=10;
,发现 key
这列为 PRIMARY
,说明使用了主键索引。
3、执行 explain select user_name from user;
,发现 key
这列为 idx_user_name
,说明使用了二级普通索引。
但是,实验发现,虽然走了二级索引,但是 rows
扫描行为 9968,说明走了全表扫描。性能很差。
本文测试只造了 1W 条数据,如果线上环境有个千万级数据量,那估计要好几秒才能响应结果。
如果请求并发量很高,很容易引发数据库连接无法及时释放,导致客户端无法获取数据库连接而报错。
4、命中索引,依然很慢
我们知道所有的数据都是存储在 B+ 索引树上,当执行 explain select * from user where id>0;
时,发现使用了主键索引。
mysql 优化器根据主键索引找到第一个 id>0
的值,虽然走了索引但其实还是全表扫描。
没命中索引会走全表扫描,命中了索引也可能走全表扫描。
看来是否命中索引,并不是评判 SQL 性能好坏的唯一标准。
其实,还有一个重要指标,那就是 扫描行数
。
当一个表很大时,不仅要关注是否有索引,还要关注索引的过滤性
是否足够好。
5、回表优化
首先为user
表 增加一个 user_name
和 age
的联合索引。
ALTER TABLE `user` ADD INDEX idx_user_name_age ( `user_name`,`age` );
执行 explain select * from user where user_name like 'Tom哥-1%' and age =29;
执行流程:
① 首先在
idx_user_name_age
索引树,查找第一个以Tom哥-1
开头的记录对应的主键id② 根据主键id从主键索引树找到整行记录,并根据
age
做判断过滤,等于29则留下,否则丢弃。这个过程也称为回表
③ 然后,在
idx_user_name_age
联合索引树上向右遍历,找到下一个主键id④ 再执行第二步
⑤ 后面重复执行第三步、第四步,直到
user_name
不是以Tom哥-1
开头,则结束⑥ 返回所有查询结果
分析:
由于按user_name
的前缀匹配,idx_user_name_age
二级索引中的 age
部分并没有发挥作用。导致了大量回表
查询,性能较差。
有什么优化策略:
MySQL 5.6 版本引入一个 Index Condition Pushdown Optimization
https://dev.mysql.com/doc/refman/5.6/en/index-condition-pushdown-optimization.html
优化后,执行流程:
① 首先在
idx_user_name_age
索引树,查找第一个以Tom哥-1
开头的索引记录② 然后,判断这个索引记录中的
age
是否等于 29。如果是,回表
取出整行数据,作为后面的结果返回;如果不是,则丢弃③ 在
idx_user_name_age
联合索引树上向右遍历,重复第二步,直到user_name
不是以Tom哥-1
开头,则结束④ 返回所有查询结果
跟上面的过程差别,在于判断 age 是否等于 29
放在了遍历联合索引过程中进行,不需要回表判断,大大降低了回表的次数,提升性能。
当然这个优化依然没有绕开最左前缀原则,索引的过滤性仍然有提升空间。
这时,我们需要引入一个叫 虚拟列
的概念。
修改表结构:
ALTER TABLE `user` add user_name_first varchar(12) generated always as
(left(user_name,6)) , add index(user_name_first,age);
执行 explain select * from user where user_name_first like 'Tom哥-1%' and age =29;
比较发现,扫描行数 row
变小了,证明优化有效果。
6、写在最后
slow_query_log
收集到的慢 SQL ,结合 explain
分析是否命中索引,结合扫描行数,有针对性的优化慢 SQL。
但是要注意一点,慢 SQL 日志中也可能有正常的 SQL,可能只是当时CPU等系统资源过载,影响到正常 SQL 的执行速度。
简单来讲,慢查询和索引没有必然联系,一个SQL语句的执行效率最终要看的是扫描行数。另外可以使用虚拟列和联合索引来提升复杂查询的执行效率。
同事问我,SQL 语句明明命中了索引,为什么执行很慢?相关推荐
- 一条SQL语句在MySQL中是如何执行的
来源:http://t.cn/E6U9Z9T 概览 本篇文章会分析下一个sql语句在mysql中的执行流程,包括sql的查询在mysql内部会怎么流转,sql语句的更新是怎么完成的. 一.mysql架 ...
- sql语句or与union all的执行效率比较
看到一篇文章是讲sql语句or与union all的执行效率比较的,以前没怎么注意这个问题,感觉文章写的不错,转来一看. 文章原链接:http://www.cunyoulu.com/zhuanti/q ...
- django mysql sql语句_Django笔记:连接数据库并执行SQL语句
Django中安装好数据库和对应的数据库驱动之后,就可以直接执行SQL语句进行数据库和表的创建,以及数据的增删改查等操作,在Python3中,可以使用的数据库和驱动有多种,我这里使用的是MySQL数据 ...
- ::在sql语句中是什么写法_不懂就问:SQL 语句中 where 条件后 写上1=1 是什么意思...
程序员在编程过程中,经常会在代码中使用到"where 1=1",这是为什么呢? SQL注入 初次看到这种写法的同学肯定很纳闷,加不加where 1=1,查询不都一样吗?例如: se ...
- SQL语句在数据库中是如何执行的
第一步:应用程序把查询SQL语句发给服务器端执行 我们在数据层执行SQL语句时,应用程序会连接到相应的数据库服务器,把SQL语句发送给服务器处理. 第二步:服务器解析请求的SQL语句 SQL计划缓存, ...
- oracle 执行带参数的sql语句_当用EXECUTE IMMEDIATE执行SQL语句中的参数个数也是动态的?用什么方法实现?...
当用EXECUTE IMMEDIATE执行SQL语句中的参数个数也是动态的?用什么方法实现? 描述详细一点就是:在要执行的SQL语句中所用到(: parameter)这种参数的个数,因具体条件不同,而 ...
- sql语句分析是否走索引_SQL语句无法走索引的一些情况分析及语句改写思路
因为优化器还不够强大,还有很多限制,或者因为一些逻辑原因,分析认为SQL要走索引比较好,但是事实却无法正确利用索引.这时候,除了给ORACLE需要的统计信息之外,写的SQL必须要能够给优化器足够多的额 ...
- SQL允许你用EXECUTE执行一个变量中定义的SQL语句,并且允许你在被执行的SQL语句中,再次嵌套入一个变量定义的语句,并且再次在其中用EXECUTE执行它...
declare @sqlstr varchar(3000) set @sqlstr='declare @subsqlstr varchar(1000);' set @sqlstr=@sqlstr+'s ...
- sql语句分析是否走索引_mysql sql语句执行时是否使用索引检查方法
在日常开发中,使用到的数据表经常都会有索引,这些索引可能是开发人员/DBA建表时创建的,也可能是在使用过程中新增的.合理的使用索引,可以加快数据库查询速度.然而,在实际开发工作中,会出现有些sql语句 ...
最新文章
- 隐藏在程序旮旯中的“安全问题”
- HDU 2066-一个人的旅行(最短路Dijkstra)
- linux gcc 安装目录,Linux安装其他版本GCC的方法
- 【PC工具】文件压缩解压工具winrar解压缩装机必备软件,winRAR5.70免费无广告
- 【数学基础】一份非常适合人工智能学习的概率论基础材料中文版 (CS229概率论)...
- http请求在asp.net中的应用
- 返回内容验签失败_邮件经常失败回弹很糟心?一定要知道这几个小知识
- 修改APACHE的默认站点
- 【java】java中内存映射文件和IO
- mysql null 走索引_mysql 索引列为Null的走不走索引及null在统计时的问题
- java继承的范例_Java范例中的继承
- python vue token_Haytham个人博客开发日志 -- Flask+Vue基于token的登录状态与路由管理...
- 适时突破[我眼中的戴尔转型]
- 个人博客网站可以通过写系列连载文章来吸引用户
- 通过微软私有云MCSE认证
- 国内就能读的中国人民大学与加拿大女王大学金融硕士,为职业发展的下一个阶段积蓄能量
- win10 插上有线耳机 无声音:装上声卡驱动【检查】
- 树莓派有线网络设置_树莓派的基本网络配置
- 苹果手机对html的要求,原神iPhone 8能玩吗?苹果手机最低配置要求一览
- 唱给挚爱高妹(大头妹)的歌~~~
热门文章
- 惠斯通电桥信号调理芯片_用惠斯通电桥测电阻
- HDU3970(Dijstra算法)
- python搜题程序_智慧树Python程序设计基础搜题公众号
- forms身份验证 不跳转_“东湖24小时”玩不够?收好这份指南,365天不重样
- mysql 触发器编程_【mysql的编程专题】触发器
- 写在2014最后一天
- @RestController和@Controller注解的区别
- Kotlin中使用简洁明了的代码替换findViewByid
- CentOS 6.5 apache源码安装2.0版
- Nagios 监控实例部署