Order By（全局排序）

Order By 用于结果集的排序。也可以称之为全局排序。对于 MR 任务来说，如果我们使用了 Order By 排序，意味着MR 任务只会有一个 Reducer 参与排序。，

在 Hive 中执行脚本时，我们可以通过set mapreduce.job.reduces = 10 来设置 reduce 的个数为 10。但只要使用了 Order By 排序，即使设置了 10 个reduce ，也是不会生效的。Order By 就是一个全局排序，只能用一个 Reduce 进行全局排序。

Sort By（每个reduce内部排序）

Sort By：对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by。Sort by 在每个 Reducer 内部进行排序，即使每个 reduce 内部是有序的，但是对于全局结果集来说也还是乱序的。

Distribute By（指定分区规则）

Distribute by 是用来指定Distribute By 是用来指定分区规则的，它结合 Sort By 一起使用。上文介绍的单独使用 Sort By 对部门编号排序，因为没有指定分区规则，Sort By 则随机分区排序。Distribute By 类似 MR 中 partition（自定义分区），进行分区，结合 sort by 使用。通常是先用 Distribute By 指定分区规则，然后再使用 Sort By 对分区内数据排序。

Cluster By（分区字段和排序字段相同时使用）

当 distribute by 和 sorts by 字段相同时，可以使用 cluster by 方式。

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。但是排序只能是升序排序，不能指定排序规则为 ASC 或者 DESC。Cluster by 不常用的。

【hive】order by、sort by、distribute by、cluster by的区别相关推荐

Hive中的四种排序方式（order by,sort by,distribute by,cluster by）使用与区别详解
在平时的Hive数仓开发工作中经常会用到排序,而Hive中支持的排序方式有四种,这里结合具体的案例详细介绍一下他们的使用与区别: order by sort by distribute by clus ...
4种排序方式比较：order by, sort by, distribute by, cluster by
文章记录了4种排序方式:order by, sort by, distribute by, cluster by 总结: order by 全局排序,只有一个 Reducer,通过order对字段进行 ...
hive中order by,sort by, distribute by, cluster by作用以及用法
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会 ...
Hive中的order by ,sort by ,distribute by , cluster by 区别
#Hive的本质就是MapReduce #设置reduce个数 set mapreduce.job.reduces=num //设置num数量的reduce #查看设置reduce个数 set ma ...
hive四种排序Order By , Sort By ,Distribute By ,Cluster By
前文 Hive的本质是MapReduce,MapReduce中如何排序的?? MapReduce分为几种: 1.全排序order By: 结果只有一个(也就是只有一个分区),所有的数据整体有序. 2. ...
order by,sort by,distribute by,cluster by的区别是什么？
前言本文隶属于专栏<1000个问题搞定大数据技术体系>,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢! 本专栏目录结构和参考文献请见1000个问题搞定大数据技 ...
hive 中排序order by,sort by,distribute by使用
前提:hive 中使用的排序有oder by, sort by,distribute By,cluster By 具体使用如下测试数据: 0: jdbc:hive2://hadoop-03:1000 ...
hive笔记（五）：查询、排序-join语句/连接/分区/sort by/distribute by/cluster by
目录查询 Join语句等值Join 表的别名内连接左外连接右外连接满外连接多表连接笛卡尔集排序全局排序按照别名排序多个列排序 reduce内部排序(sort by) 分区(di ...
order by 、sort by、distribute by、group by、cluster by的区别
转载:https://www.cnblogs.com/huxinga/p/7688376.html 转载:https://blog.csdn.net/SunWuKong_Hadoop/article/ ...
Hive中的排序:order by/sort by/cluster by
Hive中关于排序的几种方法,有必要深入理解其原理. Order by 全局排序 1)Order By:全局排序,只有一个 Reducer,即使我们在设置set reduceer的数量为多个,但是在执 ...

【hive】order by、sort by、distribute by、cluster by的区别

Order By（全局排序）

Sort By（每个reduce内部排序）

Distribute By（指定分区规则）

Cluster By（分区字段和排序字段相同时使用）

【hive】order by、sort by、distribute by、cluster by的区别相关推荐

最新文章

热门文章