接上一篇: MySQL 中 GROUP BY 基本实现原理 DISTINCT 实际上和 GROUP BY 操作的实现非常相似,只不过是在 GROUP BY 之后的每组中只取出一条记录而已。所以,DISTINCT 的实现和 GROUP BY 的实现也基本差不多,没有太大的区别。同样可以通过松散索引扫描或者

接上一篇: MySQL 中 GROUP BY 基本实现原理

DISTINCT 实际上和 GROUP BY 操作的实现非常相似,只不过是在 GROUP BY 之后的每组中只取出一条记录而已。所以,DISTINCT 的实现和 GROUP BY 的实现也基本差不多,没有太大的区别。同样可以通过松散索引扫描或者是紧凑索引扫描来实现,当然,在无法仅仅使用索引即能完成 DISTINCT 的时候,MySQL 只能通过临时表来完成。但是,和 GROUP BY 有一点差别的是,DISTINCT 并不需要进行排序。也就是说,在仅仅只是 DISTINCT 操作的 Query 如果无法仅仅利用索引完成操作的时候,MySQL 会利用临时表来做一次数据的“缓存”,但是不会对临时表中的数据进行 filesort 操作。当然,如果我们在进行 DISTINCT 的时候还使用了 GROUP BY 并进行了分组,并使用了类似于 MAX 之类的聚合函数操作,就无法避免 filesort 了。

下面我们就通过几个简单的 Query 示例来展示一下 DISTINCT 的实现。

1.首先看看通过松散索引扫描完成 DISTINCT 的操作:

sky@localhost:example11:03:41>EXPLAINSELECTDISTINCTgroup_id->FROMgroup_messageG***************************1.row***************************id:1SELECT_type:SIMPLEtable:group_messagetype:rangepossible_keys:NULLkey:idx_gid_uid_gckey_len:4ref:NULLrows:10Extra:Usingindexforgroup-by1rowinset(0.00sec)

我们可以很清晰的看到,执行计划中的 Extra 信息为“Using index for group-by”,这代表什么意思?为什么我没有进行 GROUP BY 操作的时候,执行计划中会告诉我这里通过索引进行了 GROUP BY 呢?其实这就是于 DISTINCT 的实现原理相关的,在实现 DISTINCT的过程中,同样也是需要分组的,然后再从每组数据中取出一条返回给客户端。而这里的 Extra 信息就告诉我们,MySQL 利用松散索引扫描就完成了整个操作。当然,如果 MySQL Query Optimizer 要是能够做的再人性化一点将这里的信息换成“Using index for distinct”那就更好更容易让人理解了,呵呵。

2.我们再来看看通过紧凑索引扫描的示例:

sky@localhost:example11:03:53>EXPLAINSELECTDISTINCTuser_id->FROMgroup_message->WHEREgroup_id=2G***************************1.row***************************id:1SELECT_type:SIMPLEtable:group_messagetype:refpossible_keys:idx_gid_uid_gckey:idx_gid_uid_gckey_len:4ref:constrows:4Extra:UsingWHERE;Usingindex1rowinset(0.00sec)

这里的显示和通过紧凑索引扫描实现 GROUP BY 也完全一样。实际上,这个 Query 的实现过程中,MySQL 会让存储引擎扫描 group_id = 2 的所有索引键,得出所有的 user_id,然后利用索引的已排序特性,每更换一个 user_id 的索引键值的时候保留一条信息,即可在扫描完所有 gruop_id = 2 的索引键的时候完成整个 DISTINCT 操作。

3.下面我们在看看无法单独使用索引即可完成 DISTINCT 的时候会是怎样:

sky@localhost:example11:04:40>EXPLAINSELECTDISTINCTuser_id->FROMgroup_message->WHEREgroup_id>1ANDgroup_id<10G***************************1.row***************************id:1SELECT_type:SIMPLEtable:group_messagetype:rangepossible_keys:idx_gid_uid_gckey:idx_gid_uid_gckey_len:4ref:NULLrows:32Extra:UsingWHERE;Usingindex;Usingtemporary1rowinset(0.00sec)

当 MySQL 无法仅仅依赖索引即可完成 DISTINCT 操作的时候,就不得不使用临时表来进行相应的操作了。但是我们可以看到,在 MySQL 利用临时表来完成 DISTINCT 的时候,和处理 GROUP BY 有一点区别,就是少了 filesort。实际上,在 MySQL 的分组算法中,并不一定非要排序才能完成分组操作的,这一点在上面的 GROUP BY 优化小技巧中我已经提到过了。实际上这里 MySQL 正是在没有排序的情况下实现分组最后完成 DISTINCT 操作的,所以少了 filesort 这个排序操作。

4.最后再和 GROUP BY 结合试试看:

sky@localhost:example11:05:06>EXPLAINSELECTDISTINCTmax(user_id)->FROMgroup_message->WHEREgroup_id>1ANDgroup_id<10->GROUPBYgroup_idG***************************1.row***************************id:1SELECT_type:SIMPLEtable:group_messagetype:rangepossible_keys:idx_gid_uid_gckey:idx_gid_uid_gckey_len:4ref:NULLrows:32Extra:UsingWHERE;Usingindex;Usingtemporary;Usingfilesort1rowinset(0.00sec)

最后我们再看一下这个和 GROUP BY 一起使用带有聚合函数的示例,和上面第三个示例相比,可以看到已经多了 filesort 排序操作了,正是因为我们使用了 MAX 函数的缘故。要取得分组后的 MAX 值,又无法使用索引完成操作,只能通过排序才行了。

由于 DISTINCT的实现基本上和 GROUP BY 的实现差不多,所以这篇文章就不再画图展示实现过程了,大家可以通过 上一篇文章中关于 GROUP BY 的基本实现原理中的插图了解详情

mysql distinct 实现_MySQL DISTINCT 的基本实现原理相关推荐

  1. mysql中distinct删除_MySQL distinct查询返回具有重复信息的行,需要重复数据删除

    我有一个类似于MySQL数据库中下面显示的表格: +----------+----------+----------+----------+----------+ | Column_A | Colum ...

  2. mysql distinct 失效_Mysql DISTINCT问题

    问题描述 因为要设计一个数据库表,进行一个倒序去重的操作. 例如: id Name 1 B 2 A 3 A 4 C 5 C 6 B 场景:例如说我们需要得到一个用户的搜索记录,那么肯定不会仅仅根据时间 ...

  3. mySQL双机冗余_MySQL双机热备实现原理

    双机热备是应用于服务器的一种解决方案,其构造思想是主机和从机通过TCP/IP网络连接,正常情况下主机处于工作状态,从机处于监视状态,一旦从机发现主机异常,从机将会在很短的时间之内代替主机,完全实现主机 ...

  4. mysql sql优化_MySQL数据库SQL语句优化原理专题(三)

    需求 做过开发的同学,对分页肯定不会陌生,因为很多前台页面展示,为了更好的展示数据,就会用到分页,所以如何写一个高性能的分页SQL语句,是每一个开发人员需要掌握的技能. 分页SQL 这里给大家写一个分 ...

  5. mysql索引失效_MySQL索引失效的底层原理

    mysql的索引在使用不当情况下会失效. 比如:使用最佳左前缀法则,大于号右边的索引会失效,使用like索引会失效,当准备面试的时候我们为了应付面试的的时候往往会去找到这些面试题目的答案,但是往往不会 ...

  6. mysql 锁 会话_MySQL会话锁等待关系原理

    会话依赖关系主要需要理解锁等待相关四张表的关系: 先查询当前会话持有哪些事务的锁和依赖哪些事务的锁,通过这两种锁就可以得到一种图关系. 一:查询当前会话持有的锁: 1.查询当前会话processlis ...

  7. mysql join图解_MySQL中Join算法实现原理分析[多图]

    在MySQL 中,只有一种 Join 算法,就是大名鼎鼎的 Nested Loop Join,他没有其他很多数据库所提供的 Hash Join,也没有 Sort Merge Join.顾名思义,Nes ...

  8. mysql索引失效_MySQL索引失效的底层原理详解,终于有人讲清楚了

    前言 吊打面试官又来啦,今天我们讲讲MySQL索引为什么会失效,很多文章和培训机构的教程,都只会告诉你,在什么情况下索引会失效. 比如:没遵循最佳左前缀法则.范围查询的右边会失效.like查询用不到索 ...

  9. mysql主从应用_MySQL主从复制应用、主从复制原理

    mysql主从复制安装配置 1.基础设置准备 #操作系统: centos6.5 #mysql版本: 5.7 #两台虚拟机: node1:192.168.85.111(主) node2:192.168. ...

最新文章

  1. Django 状态保持3.5
  2. esp8266 wifi模组入网案例
  3. 学生信息管理系统中遇到的问题解析
  4. 石油采集(求联通区域) 2018多校寒假集训 (dfs+二分匹配)
  5. 安装bigdesk后es无法启动_安装天正后,探索者无法双击启动?
  6. CF666E-Forensic Examination【广义SAM,线段树合并】
  7. python刷题+leetcode(第三部分)
  8. c语言socket面试题,【C++工程师面试宝典】学习说明_互联网校招面试真题面经汇总_牛客网...
  9. 【Big Data - Hadoop - MapReduce】初学Hadoop之图解MapReduce与WordCount示例分析
  10. Windows安装Nacos单机集群
  11. HDU5620 KK's Steel(C语言版)【废除!!!】
  12. 算法之数学--常用数学公式,规律神器OEIS 2021-03-09
  13. ObjectiveC开发教程--如何判断字符串是否为空的方法
  14. PIXHAWK上安装PX4Flow光流传感器及调试过程
  15. 使用webp进行图像压缩
  16. C++大作业--班级同学信息管理系统
  17. 永久存储:腌制一缸美味的泡菜+习题复习
  18. 计算机主板上的ide,计算机主板上的IDE接口通常是连接什么设备的数据接口?
  19. 《缠中说禅108课》23:市场与人生
  20. 干货 | 以太坊的工作原理

热门文章

  1. ​阿里巴巴总市值超过4000亿美元,“股神”巴菲特:没买阿里巴巴股票是个错误!...
  2. html中js隐藏div的高度,js如何获取div(ul li)元素的宽度和高度(包括width/height和CSS的宽度和高度)...
  3. 游戏启动后提示安装HMS Core,点击取消,未再次提示安装HMS Core(初始化失败返回907135003)
  4. python安装失败的解决网址
  5. ajax必填项验证,jQuery验证 - 通过MVC2中的ajax动态添加必填字段
  6. Intel官网资料下载链接
  7. 为什么扁平化设计辣么火?它会过时么?
  8. rand函数的使用——C语言
  9. 社群运营常用的六种方法
  10. ibm java 工具_Eclipse是由IBM开发的一款功能完整且成熟的IDE集成开发环境,它是一个开源的、基于Java的可扩展开发平台,是目前最流行的Java语言开发工具。...