参考博客：https://www.cnblogs.com/duodushuduokanbao/p/9911256.html

Spark的join实现方案有三种:

broadcast hash join
shuffle hash join
sort-merge join

hash join

确定小表（Bulid Table) 和大表（Probe Table）,利用小表根据 key 进行hash，建立hash table，大表同样对key进行相同的hash，映射hash table中的记录，如果映射成功且join条件符合，则将数据进行关联。

为什么 bulid table 选择小表, probe table 选择大表？因为在构建 hash table 时最好能将其全部加载到内存，这样才效率最高，这也说明了为什么 hash join 算法只适合至少有一个小表的场景，对于两个大表的join 场景并不适用，两个大表的 join ,可选用 sort merge join。

hash join主要针对单机，以下两种是对hash join的分布式改造后

Broadcast join

一般用于维表和实时表进行join，可将维表（一般不超过10M）发送至各个节点，使各个节点都存有一份完整的维表数据，接下来相当于单机进行hash join。

SparkSQL 也可以根据内存资源、带宽资源适量将参数 spark.sql.autoBroadcastJoinThreshold（默认是 10M）调大，让更多 join 实际执行为 broadcast hash join。

shuffle join

当join的两张表数据量都很大时，利用 key相同的数据将会被分到相同分区上的原理，将两张表按key进行分区，使相同key的记录分到同一个节点上，然后在对每个节点上的数据进行hash join

sort-merge join（没太理解）

和shuffle join一样，将两张大表join key进行重分区，对每个分区的节点进行排序，然后对排好序的表进行join，join的操作：分表遍历两个有序序列，碰到相同的key就merge然后输出

Spark 的三种join方式相关推荐

Spark源码阅读(五) --- Spark的支持的join方式以及join策略
版本变动 2021-08-30 增加了对Broadcast Hash Join小表大小的评估内容增加了对Sort Merge Join优于Shuffle Hash Join调用的解释目录 Spar ...
MapReduce三种join实例分析
本文引自吴超博客实现原理 1.在Reudce端进行连接. 在Reudce端进行连接是MapReduce框架进行表之间join操作最为常见的模式,其具体的实现原理如下: Map端的主要工作:为来自不同 ...
Spark SQL join的三种实现方式
引言 join是SQL中的常用操作,良好的表结构能够将数据分散到不同的表中,使其符合某种规范(mysql三大范式),可以最大程度的减少数据冗余,更新容错等,而建立表和表之间关系的最佳方式就是join操 ...
oracle Hash Join及三种连接方式
在Oracle中,确定连接操作类型是执行计划生成的重要方面.各种连接操作类型代表着不同的连接操作算法,不同的连接操作类型也适应于不同的数据量和数据分布情况. 无论是Nest Loop Join(嵌套循 ...
Spark支持三种分布式部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
Spark的三种分布式部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
Spark三种部署方式
目前Apache Spark支持三种分布式部署方式,分别是standalone.spark on mesos和 spark on YARN,其中,第一种类似于MapReduce 1.0所采用的模式,内 ...
spark sql 本地调试_Spark精华问答｜Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...
Spark精华问答 | Spark的三种运行模式有何区别？
戳蓝字"CSDN云计算"关注我们哦! Spark是一个针对超大数据集合的低延迟的集群分布式计算系统,比MapReducer快40倍左右,是hadoop的升级版本,Hadoop作为第 ...

Spark 的三种join方式