重新编译Spark2.4.0 Parcels包

1、下载修改的parcel包

2、使用压缩工具打开parcel、替换需要的jar包，改案例中替换和新增的jar如下：

httpclient-4.5.6.jar

parquet-format-2.5.0.jar

3、根据文件内容生成hash

certutil -hashfile C:\Users\15755\Desktop\parquet\SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel SHA1

4、修改下面三个文件hash值

a、manifest.json中的"hash"

b、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1到服务器、替换之前的yum包

5、上传parcel、manifest.json、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1、SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1到服务器、替换之前的yum包

6、删除parcels-cache、/opt/cloudera/parcels/.flood下与SPARK2相关的文件，重启cm-agent

ansible cdh230 -m shell -a "rm -fr /opt/cloudera/parcels/.flood"

ansible cdh230 -m shell -a "service cloudera-scm-agent restart"

7、在CM中操作

a、停用、删除SPARK2的parcel包

b、下载、分配、激活

重新编译Spark2.4.0 Parcels包相关推荐

spark最新源码下载并导入到开发环境下助推高质量代码(Scala IDEA for Eclipse和IntelliJ IDEA皆适用）（以spark2.2.0源码包为例）（图文详解）...
不多说,直接上干货! 前言其实啊,无论你是初学者还是具备了有一定spark编程经验,都需要对spark源码足够重视起来. 本人,肺腑之己见,想要成为大数据的大牛和顶尖专家,多结合源码和操练编程. ...
MVN编译Flume1.7源码时出现下载ua-parses-1.3.0 jar包失败
解决思路: 下载ua-parses jar包到本地,然后用mvn命令增加到本地:如果下载因为各种原因还是无法下载,那就就在git上下载ua-parses-1.3.0源码,打jar包,用mvn指定路径. ...
Spark2.1.0 + CarbonData1.0.0集群模式部署及使用入门
1 引言 Apache CarbonData是一个面向大数据平台的基于索引的列式数据格式,由华为大数据团队贡献给Apache社区,目前最新版本是1.0.0版.介于目前主流大数据组件应用场景的局限性,C ...
[Spark版本升级]-- spark-2.2.0发行说明
Spark-2.2.0版本发行时间:2017-7-11 一.Jira说明: https://issues.apache.org/jira/secure/ReleaseNote.jspa?project ...
Spark2.1.0模型设计与基本架构（上）
随着近十年互联网的迅猛发展,越来越多的人融入了互联网--利用搜索引擎查询词条或问题:社交圈子从现实搬到了Facebook.Twitter.微信等社交平台上:女孩子们现在少了逛街,多了在各大电商平台上的 ...
Spark2.1.0安装与配置（单机版）
Spark2.1.0安装与配置(单机版) B站同步视频:Spark2.1.0安装与配置(单机版) 前言该安装教程是承接Spark源码编译B站教程所制,因此所使用的安装包是在Spark源码编译教程中得 ...
Centos7.6+Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建
本文转自https://mshk.top/2019/03/centos-hadoop-zookeeper-hbase-hive-spark-high-availability/,因为原链接打不开,故在 ...
Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建
目录目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...
编译hadoop2.2.0源码时报错
编译hadoop2.2.0源码时, mvn install -DskipTests 报错: [ERROR] COMPILATION ERROR : [INFO] ------------------- ...

重新编译Spark2.4.0 Parcels包

重新编译Spark2.4.0 Parcels包相关推荐

最新文章

热门文章