sparkshuffle

1.绪论

0.8版本之前是 hashbasedshufflewrite

0.8到1.2是优化的hashbasedshuffle

1.3开始时sortbasedshuffle

1.1 基础

shuffle载入

shuffle时其实数据会自动调用 persist方法落盘，有两方面原因。

数据中途丢失的话，因为rdd机制。所有数据需要从第一个依赖开始计算
如果数据链过长，一直占用内存可能会oom，所以适当释放内存

shuffle write

0.8之前，shuffle持久化是到缓存中，后来发现内存占用过大。容易发生OOM（out of memory）

所以之后改版落盘到磁盘。

2.hashbasedshuffle

首先是executor，每个executor上大概一个cpu core（惯例）。然后跑一到两个tast（cpu的1.5-2倍）

该版本map task会计算key的hash值然后分配到对应的分区，并单独生成一个文件，然后reduce算子会遍历每一个对应的产出文件。

每一个map task都要给后面所有的result task创造一个文件。

因为目标rdd的一个partition对应一个result task。

可以理解为每一个map task要把自己所有key生成一个文件，然后里面放好这个数据。又因为result task对应的是目标rdd上的每一个partition。所以每一个result task去取自己对应的数据

可以算得中间数据的数量，是map task数 X reduce task数。可以看出数据量太大了。

单纯的用linux打开这些文件都非常耗费资源。

同时如果文件系统时随机读写，数量庞大的文件会非常耗时。

3.优化的hashbaseshuffle

优化后不再是以task为单位生成文件，而是executor为单位。在executor内部提前聚合。

4.sortbaseshuffle

相比于第二种，继续封装一层。每个executor只有一个文件。这样只有core （executor数决定生成文件数），task只会决定一个文件有多长。因为core肯定是小于task的，通常task为core的1.5-3倍。

索引文件非常重要索引文件是因为该文件为顺序读写。能极大提升IO速率。

5.细节

Spark的shuffle阶段发生在阶段划分时，也就是宽依赖算子时。
宽依赖算子不一定发生shuffle。
Spark的shuffle分两个阶段，一个使Shuffle Write阶段，一个使Shuffle read阶段。
Shuffle Write阶段会选择分区器，比如HashPartitioner，RangePartitioner，或者使自定义分区器
也会根据一些条件，来选择到底使用哪一个Writer对象
unsafeshuffleWriter
sortShuffleWriter：预排序，默认的
bypassMergeShuffleWriter：不排序，<=200,不预聚合
将RDD的一个分区的数据先按照分区器来划分不同的分区(分区数量由分区器来决定)
如果是默认的sortShuffle，则会预排序，然后写入buffer中
当buffer达到阈值时，或者是最后一次时，会溢写成临时文件
如果产生多个临时文件，则会merge成一个临时文件，一个分区对应一个临时文件
多个分区的临时文件最终会合并成一个临时文件，同时会保存这个文件的索引信息到索引文件里，比如一个分区的偏移量，数据的长度等，到此位置，Shuffle Write阶段结束
下游的RDD的每一个分区对应一个Task，并提供了读buffer,然后开始从各个executor处读取属于自己分区的数据到buffer中，因为可能来自多个executor处，所以会涉及到合并

注意：排序时，使用的是归并算法，字典升序排序规则

SparkShuffle详解相关推荐

从命令行到IDE，版本管理工具Git详解（远程仓库创建+命令行讲解+IDEA集成使用）
首先,Git已经并不只是GitHub,而是所有基于Git的平台,只要在你的电脑上面下载了Git,你就可以通过Git去管理"基于Git的平台"上的代码,常用的平台有GitHub.Gi ...
JVM年轻代，老年代，永久代详解
秉承不重复造轮子的原则,查看印象笔记分享连接↓↓↓↓ 传送门:JVM年轻代,老年代,永久代详解速读摘要最近被问到了这个问题,解释的不是很清晰,有一些概念略微模糊,在此进行整理和记录,分享给大家.在 ...
docker常用命令详解
docker常用命令详解本文只记录docker命令在大部分情境下的使用,如果想了解每一个选项的细节,请参考官方文档,这里只作为自己以后的备忘记录下来. 根据自己的理解,总的来说分为以下几种: Doc ...
通俗易懂word2vec详解词嵌入-深度学习
https://blog.csdn.net/just_so_so_fnc/article/details/103304995 skip-gram 原理没看完 https://blog.csdn.net ...
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG) 优化算法
深度学习优化函数详解系列目录深度学习优化函数详解(0)– 线性回归问题深度学习优化函数详解(1)– Gradient Descent 梯度下降法深度学习优化函数详解(2)– SGD 随机梯度下降 ...
CUDA之nvidia-smi命令详解---gpu
nvidia-smi是用来查看GPU使用情况的.我常用这个命令判断哪几块GPU空闲,但是最近的GPU使用状态让我很困惑,于是把nvidia-smi命令显示的GPU使用表中各个内容的具体含义解释一下. ...
Bert代码详解（一）重点详细
这是bert的pytorch版本(与tensorflow一样的,这个更简单些,这个看懂了,tf也能看懂),地址:https://github.com/huggingface/pytorch-pretr ...
CRF(条件随机场)与Viterbi(维特比)算法原理详解
摘自:https://mp.weixin.qq.com/s/GXbFxlExDtjtQe-OPwfokA https://www.cnblogs.com/zhibei/p/9391014.html C ...
pytorch nn.LSTM()参数详解
输入数据格式: input(seq_len, batch, input_size) h0(num_layers * num_directions, batch, hidden_size) c0(num ...

SparkShuffle详解