Spark3.0新特性

概述

Spark在SQL查询方面的性能优化主要分为四个方向七个方面

开发交互方向
新的Explain格式
所有join支持hints
动态优化
自适应查询执行
动态分区裁剪
Catalyst提升
增强嵌套列的裁剪和下推
增强聚合的代码生成
基础设施更新
支持新的Scala和Java版本

一、动态优化

1.自适应查询执行：通过使用运行时的统计信息

1）根据统计信息设置reducer的数量来避免内存和I/O资源的浪费
对reducer的个数进行了优化：避免reduder 空转资源浪费情况

2）选择更优的join策略来提高连接查询性能
基于静态信息统计的基础上加入动态信息统计，在两表join执行时，适时收集两表数据量的变化，及时调整策略
join策略

Shuffle Hash Join:适应于要join的表数据量比较大
将大表按照join的key进行重分区
Broadcast Hash Join：map端join 当一张表数据较小时
broadcast 阶段:小表被缓存在executor中：
hash join 阶段：在每个executor中执行hash join
Sort Merge Join: Spark默认的，一般适用于两张大表进行join时

Cartesian Join：没有指定join key (ON条件)
Broadcast Nested Loop Join：当没有合适的join机制可供选择时

优先级：Broadcast Hash Join > Sort Merge Join > Shuffle Hash Join > cartesian Join > Broadcast Nested Loop Join.

3）优化join数据来避免不平衡查询造成的数据倾斜
join的时间取决于最大的分区join时间
表中的数据倾斜导致整个表连接任务的耗时操作
解决：通过对倾斜数据的自适应重分区
2.动态分区裁剪

是从下推演化而来，下推数据静态裁剪，通过将条件下推至数据源，从而减小了上层算子计算的数据量。动态裁剪是在静态裁剪的基础上，加入了运行时的数据裁剪。

补充

查询下推：

逻辑优化角度

从逻辑优化的角度来看，查询下推属于是将逻辑查询树中的一些节点下推到叶子结点或接近叶子结点，即更接近数据源的地方，从而使得上层节点的操作所涉及到的数据量大大减少，提高数据处理效率。

物理计划执行角度

从物理计划执行的角度来看，查询下推是将查询的条件下推到数据源，让数据源直接过滤掉与查询结果无关的数据，从而降低数据IO，提高数据的传输和处理效率。

参考

https://zhuanlan.zhihu.com/p/192339214
https://www.cnblogs.com/jmx-bigdata/p/14021183.html

Spark3.0新特性相关推荐

JDK5.0新特性系列---目录
JDK5.0新特性系列---目录 JDK5.0新特性系列---1.自动装箱和拆箱 JDK5.0新特性系列---2.新的for循环 JDK5.0新特性系列---3.枚举类型 JDK5.0新特性系列--- ...
[转]C# 2.0新特性与C# 3.5新特性
C# 2.0新特性与C# 3.5新特性一.C# 2.0 新特性: 1.泛型List<MyObject> obj_list=new List(); obj_list.Add(new MyO ...
Servlet 3.0 新特性概述
Servlet 3.0 新特性概述 Servlet 3.0 作为 Java EE 6 规范体系中一员,随着 Java EE 6 规范一起发布.该版本在前一版本(Servlet 2.5)的基础上提供了若 ...
Redis 6.0 新特性-多线程连环13问！
来自:码大叔导读:支持多线程的Redis6.0版本于2020-05-02终于发布了,为什么Redis忽然要支持多线程?如何开启多线程?开启后性能提升效果如何?线程数量该如何设置?开启多线程后会不会有 ...
WCF4.0新特性体验(3):标准终结点（Standard Endpoints）
今天在WCF4.0新特性体验第3节,我们介绍WCF4.0里的标准终结点概念,也就是Standard Endpoints. WCF4.0提供了那些标准终结点?他们有什么作用?如何使用标准终结点?如何该表 ...
Servlet 2.0 Servlet 3.0 新特性
概念:透传. Callback 在异步线程中是如何使用的.?? Servlet 2.0 && Servlet 3.0 新特性 Servlet 2.0 && Servle ...
C#6.0，C#7.0新特性
C#6.0,C#7.0新特性 C#6.0新特性 Auto-Property enhancements(自动属性增强) Read-only auto-properties (真正的只读属性) Auto- ...
WCF4.0新特性体验(6):路由服务Routing Service（下）
紧接前文WCF4.0新特性体验(5):路由服务Routing Service(上).今天我们介绍WCF4.0消息路由的实现机制,然后会讲解路由服务的实现过程. [4]WCF与路由服务: 其实在介绍WC ...
【收藏】C# 2.03.0新特性总结
c#2.0新特性范型我们知道通用的数据结构可以采用object存储任何数据类型.使用object问题是: 显示的强制转带来的代码复杂性换装箱拆箱的性能损失(为什么有性能损失?因为涉及动态内存分配 ...

Spark3.0新特性

概述

一、动态优化

参考

Spark3.0新特性相关推荐

最新文章

热门文章