spark sql 性能优化

一设置shuffle的并行度

我们可以通过属性spark.sql.shuffle.partitions设置shuffle并行度

二 Hive数据仓库建设的时候，合理设置数据类型，比如你设置成INT的就不要设置成BIGINT，减少数据类型不必要的内存开销

三 SQL优化

四并行的处理查询结果

对于Spark SQL查询的结果,如果数据量比较大，比如超过1000条，那么就不要使用collect到driver再处理，使用foreach算子并行处理查询结果

五缓存表

对于一条SQL语句中可能多次使用到的表，可以对其进行缓存，使用SQLContext.cacheTable(tableName)或者DataFrame.cache即可。Spark SQL会用内存列存储的格式进行表的缓存。然后SparkSQL就可以仅仅扫描需要使用的列，并且自动优化压缩，来最小化内存使用和GC开销。可以通过spark.sql.inMemoryColumnarStorage.batchSize这个参数，默认10000，配置列存储单位

六广播JOIN表

spark.sql.autoBroadcastJoinThreshold，默认10485760（10M），在内存够用的情况下，提高其大小，可以将join中的较小的表广播出去，而不用进行网络数据传输

spark sql 性能优化相关推荐

Spark SQL性能优化
性能优化参数针对Spark SQL 性能调优参数如下: 代码示例 import java.util.List;import org.apache.spark.SparkConf; import or ...
高效sql性能优化极简教程
一,sql性能优化基础方法论对于功能,我们可能知道必须改进什么:但对于性能问题,有时我们可能无从下手.其实,任何计算机应用系统最终队可以归结为: cpu消耗内存使用对磁盘,网络或其他I/O设备的 ...
做 SQL 性能优化真是让人干瞪眼
很多大数据计算都是用 SQL 实现的,跑得慢时就要去优化 SQL,但常常碰到让人干瞪眼的情况. 比如,存储过程中有三条大概形如这样的语句执行得很慢: select a,b,sum(x) from T ...
SQL性能优化案例分析
这段时间做一个SQL性能优化的案例分析, 整理了一下过往的案例,发现一个比较有意思的,拿出来给大家分享. 这个项目是我在项目开展2期的时候才加入的, 之前一期是个金融内部信息门户, 里面有个功能是收集 ...
如何进行正确的SQL性能优化
在SQL查询中,为了提高查询的效率,我们常常采取一些措施对查询语句进行SQL性能优化.本文我们总结了一些优化措施,接下来我们就一一介绍. 1.查询的模糊匹配尽量避免在一个复杂查询里面使用 LIKE ...
Oracle SQL性能优化的40条军规
Oracle SQL性能优化的40条军规 1. SQL语句执行步骤语法分析> 语义分析> 视图转换 >表达式转换> 选择优化器 >选择连接方式 >选择连接顺序 & ...
SQL性能优化前期准备-清除缓存、开启IO统计
如果需要进行SQl Server下的SQL性能优化,需要准备以下内容: 一.SQL查询分析器设置: 1.开启实际执行计划跟踪. 2.每次执行需优化SQL前,带上清除缓存的设置SQL. 平常在进行SQL ...
想让DBA瞬间崩溃，那就让他去做SQL性能优化
本文分享自华为云社区<做 SQL 性能优化真是让人干瞪眼>,作者: 石臻臻的杂货铺 . 很多大数据计算都是用 SQL 实现的,跑得慢时就要去优化 SQL,但常常碰到让人干瞪眼的情况. 比如 ...
SQL性能优化常见措施(Lock wait timeout exceeded)
SQL性能优化常见措施目录 1.mysql中explain命令使用 2.mysql中mysqldumpslow的使用 3.mysql中修改my.ini配置文件记录日志 4.mysql中如何加索引 ...

spark sql 性能优化

spark sql 性能优化相关推荐

最新文章

热门文章