制作Flink的Parcel包和csd文件

配置java，maven等环境变量

java:

export JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar:$CLASSPATH

maven:

export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH

下载制作Parcel包和CSD文件的脚本

[root@node01 cloudera]# git clone https://github.com/Git-Charles/flink-parcel.git

修改配置文件 flink-parcel.properties

#flink 下载地址
# https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.2/
FLINK_URL=https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.2/flink-1.9.2-bin-scala_2.12.tgzFLINK_MD5=6f744825b3ddf8408e9410cbd6b82107#flink版本号
FLINK_VERSION=1.9.2#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12#操作系统版本，以centos为例
OS_VERSION=7#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.4#CDH大版本
CDH_MIN=5
CDH_MAX=6

制作 Flink 的Parcel包和CSD文件并校验
制作Parcel包

[root@node01 cloudera]# cd flink-parcel
[root@node01 flink-parcel]# bash bulid.sh parcel
...
+ java -jar cm_ext/validator/target/validator.jar -f ./FLINK-1.9.2-BIN-SCALA_2.12_build/FLINK-1.9.2-BIN-SCALA_2.12-el7.parcel
Validating: ./FLINK-1.9.2-BIN-SCALA_2.12_build/FLINK-1.9.2-BIN-SCALA_2.12-el7.parcel
Validating: FLINK-1.9.2-BIN-SCALA_2.12/meta/parcel.json
Validating: FLINK-1.9.2-BIN-SCALA_2.12/meta/permissions.json
Validation succeeded.
+ python cm_ext/make_manifest/make_manifest.py ./FLINK-1.9.2-BIN-SCALA_2.12_build
Scanning directory: ./FLINK-1.9.2-BIN-SCALA_2.12_build
Found parcel FLINK-1.9.2-BIN-SCALA_2.12-el7.parcel
+ sha1sum ./FLINK-1.9.2-BIN-SCALA_2.12_build/FLINK-1.9.2-BIN-SCALA_2.12-el7.parcel
+ awk '{print $1}'

制作CSD文件

[root@node01 flink-parcel]# bash build.sh csd_on_yarn
...
Validating: flink_csd_build/descriptor/service.sdl
Validation succeeded.
+ jar -cvf ./FLINK_ON_YARN-1.9.2.jar -C flink_csd_build .
added manifest
adding: descriptor/(in = 0) (out= 0)(stored 0%)
adding: descriptor/.service.sdl.swo(in = 16384) (out= 2429)(deflated 85%)
adding: descriptor/service.sdl(in = 6556) (out= 1772)(deflated 72%)
adding: images/(in = 0) (out= 0)(stored 0%)
adding: images/flink.png(in = 1523) (out= 1372)(deflated 9%)
adding: scripts/(in = 0) (out= 0)(stored 0%)
adding: scripts/control.sh(in = 3025) (out= 1070)(deflated 64%)

[root@node01 flink-parcel]# bash build.sh csd_standalone
...
+ java -jar cm_ext/validator/target/validator.jar -s flink_csd_build/descriptor/service.sdl -l 'SPARK_ON_YARN SPARK2_ON_YARN'
Validating: flink_csd_build/descriptor/service.sdl
Validation succeeded.
+ jar -cvf ./FLINK-1.9.2.jar -C flink_csd_build .
added manifest
adding: descriptor/(in = 0) (out= 0)(stored 0%)
adding: descriptor/.service.sdl.swo(in = 16384) (out= 2429)(deflated 85%)
adding: descriptor/service.sdl(in = 5460) (out= 1552)(deflated 71%)
adding: descriptor/wget-log(in = 3482) (out= 328)(deflated 90%)
adding: images/(in = 0) (out= 0)(stored 0%)
adding: images/flink.png(in = 1523) (out= 1372)(deflated 9%)
adding: scripts/(in = 0) (out= 0)(stored 0%)
adding: scripts/control.sh(in = 2307) (out= 770)(deflated 66%)

查看Parcel包和csd文件

[root@node01 flink-parcel]# ll | grep jar
-rw-rw-r-- 1 hdb hdb      7737 Apr 17 12:59 FLINK-1.9.2.jar
-rw-rw-r-- 1 hdb hdb      7799 Apr 17 12:58 FLINK_ON_YARN-1.9.2.jar
[root@node01 flink-parcel]# ll FLINK-1.9.2-BIN-SCALA_2.12_build/
total 240424
-rw-rw-r-- 1 hdb hdb 246182815 Apr 17 12:13 FLINK-1.9.2-BIN-SCALA_2.12-el7.parcel
-rw-rw-r-- 1 hdb hdb        41 Apr 17 12:13 FLINK-1.9.2-BIN-SCALA_2.12-el7.parcel.sha
-rw-rw-r-- 1 hdb hdb       578 Apr 17 12:13 manifest.json

如遇到打包问题，请参考 https://blog.csdn.net/weixin_43215250/article/details/90406232 中的解决办法。

制作Flink的Parcel包和csd文件相关推荐

制作Zeppelin的Parcel包和csd文件
配置java,maven等环境变量 java: export JAVA_HOME=/usr/local/java export PATH=$JAVA_HOME/bin:$PATH export CLA ...
CDH6.2.x制作Livy的Parcel包和csd文件
1.配置Java,maven等环境变量 ]# java -version java version "1.8.0_211" Java(TM) SE Runtime Environm ...
CDH Parcel包制作流程详解
CDH Parcel包制作流程详解背景介绍 CDH可以很方便的添加一些大数据相关服务,但这仅限于cloudera公司提供.若想将第三方服务(如公司自己开发的组件)添加到CDH集群(托管在CDH上), ...
linux qt make文件或目录,rpm,linux_为Qt程序制作rpm包的spec文件里的路径问题，rpm,linux,qt,rpmbuild,spec - phpStudy...
为Qt程序制作rpm包的spec文件里的路径问题我对Qt和rpm都不怎么熟悉,所以在为Qt程序制作rpm包的时候被路径问题纠结到了. Qt的.pro文件的相关部分是这么写的,其中AppName是我的 ...
C# 批处理制作静默安装程序包
使用批处理+WinRAR制作静默安装程序包 @echo 安装完窗口会自动关闭!!! @echo off start /wait Lync.exe /Install /Silent start /wai ...
详解linux下auto工具制作Makefile源码包（制作篇）
2019独角兽企业重金招聘Python工程师标准>>> 详解linux下auto工具制作Makefile源码包(制作篇) 水木杨一. 概述为了更好的制作configure ...
[python爬虫] 招聘信息定时系统 (二).调用pyinstaller包生成exe文件
前面一篇文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为前一天的,同时将爬取的内容保存到数据库中:这篇文章主要讲述如何将python文件压缩成exe可执行文件,供后面的操作. ...
java包图标是文件_关于更换.jar文件默认图标
最近写了个java程序,导出.jar文件后觉得默认图标太寒酸,想换一个自个儿喜欢的.eclipse导出.jar文件网上提供了很多很正确的方法,我也不必赘述.至于更改默认图标,网上提供的一些方法真是让人 ...
自己本地搭建svn仓库_「PHP编程」如何制作自己的Composer包？
PHP开发免不了要使用Composer,使用Composer有着明显的好处.一是可以很好的解决第三方包的相互依赖,二是可以方便进行代码的重用. 那如何制作自己的Composer包呢? 制作Compos ...

制作Flink的Parcel包和csd文件

制作Flink的Parcel包和csd文件相关推荐

最新文章

热门文章