大数据面试题：数据倾斜解决方法

日常工作中数据倾斜主要发生在Reduce阶段，而很少发生在 Map阶段，其原因是Map端的数据倾斜一般是由于HDFS数据存储不均匀造成的（一般存储都是均匀分块存储，每个文件大小基本固定），而Reduce阶段的数据倾斜几乎都是因为key值数据量偏多的情况而导致的。

解决方法：

1：

set hive.groupby.skewindata=true;

如果任务长时间卡在99%则基本可以认为是发生了数据倾斜，建议调整参数以实现负载均衡，原理：生成的查询计划会有两个MRJob。第一个MRJob 中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的GroupBy Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MRJob再根据预处理的数据结果按照GroupBy Key分布到Reduce中（这个过程可以保证相同的GroupBy Key被分布到同一个Reduce中），最后完成最终的聚合操作

2:小表关联大表操作，使用Mapjoin：

set hive.auto.convert.join=true;--自动开启MAPJOIN优化，默认值为true
set hive.mapjoin.smalltable.filesize=2500000;--通过配置该属性来确定使用该优化的表的大小，如果表的大小小于此值就会被加载进内存中，默认值为2500000(25M)

3:Join操作注意关联字段不能出现大量的重复值或者空值

4:Count(distinct id ) 去重统计要慎用，尽量通过其他方式替换

大数据面试题：数据倾斜解决方法相关推荐

Hive数据倾斜解决方法总结
Hive数据倾斜解决方法总结参考文章: (1)Hive数据倾斜解决方法总结 (2)https://www.cnblogs.com/kongcong/p/7777092.html 备忘一下.
MySQL导出数据遇到secure-file-priv问题的解决方法
这篇文章主要为大家详细介绍了MySQL导出数据遇到secure-file-priv问题的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 ERROR 1290 (HY000): The My ...
c mysql 插入大量数据_C++操作MySQL大量数据插入效率低下的解决方法
通常来说C++操作MySQL的时候,往Mysql中插入10000条简单数据,速度非常缓慢,居然要5分钟左右, 而打开事务的话,一秒不到就搞定了! 具体实现代码如下: #include #include ...
mysql left join 右表数据不唯一的情况解决方法
mysql left join 右表数据不唯一的情况解决方法参考文章: (1)mysql left join 右表数据不唯一的情况解决方法 (2)https://www.cnblogs.com/ne ...
java json utf-8_java读取json数据发生中文乱码的解决方法
java读取json数据发生中文乱码的解决方法发布时间:2020-06-21 15:58:48 来源:亿速云阅读:268 作者:鸽子 java读取json数据出现乱码的代码://从json文件中读 ...
PHP自动判断用户会员过期,php,_定时扣除用户过期积分，但平台用户量比较大，有没有好的解决方法？，php - phpStudy...
定时扣除用户过期积分,但平台用户量比较大,有没有好的解决方法? 最近网站实行用户积分过期制度,只保留用户近三月积分,三月前未使用积分进行扣除但平台用户量比较大,感觉这样做会出问题,有没有好的解决方法 ...
大圣轮回服务器维护,大圣轮回登录不了怎么办_大圣轮回登录不了解决方法介绍_游戏吧...
大圣轮回是一款西游记主题的回合游戏,精美Q萌的画面表现,轻松愉快的挂机玩法,浓郁的神话气息,但是很多小伙伴发现会有登录不了的问题,这个时候怎么办呢,下面游戏吧小编为大家带来大圣轮回登录不了解决方法介绍 ...
mac u盘文件过大拷贝不进去_mac文件太大无法复制到u盘怎么办 mac文件太大无法复制到u盘解决方法...
类型:Mac图形图像大小:23.3M语言:中文评分:10.0 标签: 立即下载 mac文件太大无法复制到u盘怎么办?mac文件太大无法复制到u盘解决方法.最近很多用户在询问mac文件太大无法复制到u ...
Pycharm打开（打印）大数据文件显示不全的解决方法
Pycharm打开(打印)大数据文件显示不全,即控制台显示不完那么多行. 解决方法如下: -------------追加以下字段 idea.max.intellisense.filesize = 20 ...

大数据面试题：数据倾斜解决方法

大数据面试题：数据倾斜解决方法相关推荐

最新文章

热门文章