Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系

–jars：

提供系统中没有的包
运行时将包分发到worker指定目录例如/var/run/spark/work
不会加载到executor的classPath
多个包用逗号分隔

spark.{driver|executor}.extraClassPath

多版本的相同类被加载进ClassLoader，link的时候发生错误时，用于指定版本
只需要指明包名即可，不需要指明路径
该依赖包具有最高优先级，但只能指定一个包
yarn-client模式下，–jars不会把包拷贝到本地，所以需要使用绝对路径

参考

https://stackoverflow.com/questions/37132559/add-jars-to-a-spark-job-spark-submit
https://blog.csdn.net/adorechen/article/details/90722933
https://blog.csdn.net/jorondo/article/details/104706395

Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系相关推荐

Spark On Yarn --jars/spark.yarn.jars 踩坑与提升spark submit速度
一.引言 Spark submit 可以选择 --jars 传入本地的jar也可以 --jars 传入HDFS的jar包,经过半下午的实验,终于搞清了两者的关系以及 spark.yarn.jars 和 ...
Spark中CheckPoint、Cache、Persist的用法、区别
Spark中CheckPoint.Cache.Persist 大家好,我是一拳就能打爆A柱的猛男这几天看到一套视频<尚硅谷2021迎新版大数据Spark从入门到精通>,其中有关于检查点( ...
spark学习-68-源代码：driver端接收executor的心跳
文章目录 driver端接收executor的心跳 2.这里仅仅是new了一下,初始化一些变量,然后把_taskScheduler的值赋值给taskScheduler 3.既然是driver端接收ex ...
Spark中mapToPair和flatMapToPair的区别【附示例源码及运行结果】
本文重点介绍 Spark 中 [mapToPair]和[flatMapToPair]的区别,请继续看到尾部,后续有示例说明,会理解更加清晰. 函数原型 1.JavaPairRDD<K2,V2&g ...
Spark详解（一）：Spark及其生态圈概述
1. Spark简介 Spark是加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)开发通用内存并行计算框架. Spark 运行速度快易用性好 ...
shell调用spark不执行JAVA,当代码在Spark shell中工作时，spark-submit不能引用“--jars”指定的jar？...
我使用intelliJ创建了一个sbt项目 . 我在项目的 lib 文件夹中复制了所需的jdbc jar sqljdbc42.jar . sbt package 圆满结束 . 我在 Windows 的 ...
大剑无锋之Spark中的Driver是什么？【面试推荐】
Spark中的Driver即运行Application的Main()函数并且创建SparkContext,其中创建SparkContext的目的是为了准备Spark应用程序的运行环境.在Spark中由 ...
Spark中的driver和Executor
Apache Spark使用最先进的DAG调度程序,查询优化器和物理执行引擎,实现批处理和流数据的高性能.这篇文章主要是对driver和executor功能上进行一个分析. 驱动器节点(Driver) ...
Spark 中 JVM 内存使用及配置详情、spark报错与调优、Spark内存溢出OOM异常
一般在我们开发spark程序的时候,从代码开发到上线以及后期的维护中,在整个过程中都需要涉及到调优的问题,即一开始需要考虑如何把代码写的更简洁高效调优(即代码优化),待开发测试完成后,提交任务时综合考 ...

Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系

Spark中--jars与spark.driver.extraClassPath、spark.executor.extraClassPath区别与联系相关推荐

最新文章

热门文章