深入探究Spark -- 了解Executor和参数配置

创建与分配Executor的方式根据各种资源调度方式的不同而有差异，但拿到Executor后每种资源调度方式下的Executor的运作都一样，并由Executor完成最终的计算

Task在Executor中执行时涉及到依赖环境的创建和分发、任务执行、任务结果的处理、Driver端的处理（书中有详细介绍，但和前面Scheduler感觉有重复部分）

Executor的工作参数设置：

spark.executor.memory：

配置Executor最多使用的内存大小，原理是设置Executor的JVM Heap尺寸实现。由于内存资源有限，此参数设置过大会导致部分任务分配不到资源，设置过小会产生频繁的垃圾回收和读写磁盘

每个Executor可以支持的Task数量取决于持有的CPU core的数量

准确评估数据集，要看在BlockManager的日志中的RDD cache，每个cache分区大小

内存比较紧张时，可以合理规划分区任务的数据规模，如增加分区数可增加任务数，减小每个任务的处理量

日志相关：

spark.eventLog.enabled设置为true打开日志保存到本地，方便调试和追踪问题，但日志需要定时清理，清理策略可以设置：

spark.executor.heartbeatInterval：

Executor和Driver的心跳间隔，就是汇报运行和统计信息的间隔

转载于:https://www.cnblogs.com/kinghey-java-ljx/p/8522589.html

深入探究Spark -- 了解Executor和参数配置相关推荐

spark standalone提交任务参数配置
一共申请6个核不指定每个executor的cores 3个executor * 2 = 6 cores 一共申请6个核并且指定每个executor的cores 6个executor * 1 = 6 ...
Spark on Yarn：任务提交参数配置
当在YARN上运行Spark作业,每个Spark executor作为一个YARN容器运行.Spark可以使得多个Tasks在同一个容器里面运行. 以下参数配置为例子: spark-submit -- ...
Spark性能相关参数配置详解
随着Spark的逐渐成熟完善, 越来越多的可配置参数被添加到Spark中来, 本文试图通过阐述这其中部分参数的工作原理和配置思路, 和大家一起探讨一下如何根据实际场合对Spark进行配置优化. 由于篇 ...
Spark 性能相关参数配置详解－任务调度篇
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 随着Spark的逐渐成熟完善, ...
Spark 性能相关参数配置详解－压缩与序列化篇
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 随着Spark的逐渐成熟完善, ...
Spark 性能相关参数配置详解－Storage篇
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 随着Spark的逐渐成熟完善, ...
Spark 性能相关参数配置详解－shuffle篇
作者:刘旭晖 Raymond 转载请注明出处 Email:colorant at 163.com BLOG:http://blog.csdn.net/colorant/ 随着Spark的逐渐成熟完善, ...
Spark性能调优系列：Spark参数配置大全（官网资料）
Spark参数配置大全 Spark提供了三个位置来配置系统 Spark属性控制大多数应用程序参数,可以使用SparkConf对象或Java系统属性来设置. 通过conf/spark-env.sh每个节 ...
大数据培训：Spark性能调优与参数配置
Spark性能调优-基础篇众所周知,正确的参数配置对提升Spark的使用效率具有极大助力,帮助相关数据开发.分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业. 推荐参数配置模板如下 ...

深入探究Spark -- 了解Executor和参数配置

深入探究Spark -- 了解Executor和参数配置相关推荐

最新文章

热门文章