Flink任务提交on-YARN

1. yarn-session 模式任务提交

配置环境变量 HADOOP_CLASSPATH
否则yarn-session.sh命令会报错

######## HADOOP_HOME
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH
####### HADOOP_CLASSPATH
export PATH=/opt/myshell:$PATH
export HADOOP_CLASSPATH=`${HADOOP_HOME}/bin/hadoop classpath`

yarn-session模式创建并启动集群

./flink/bin/yarn-session.sh
-s [每个taskManager的slot的数量,可省略]
-jm [jobManager的内存 1024m]
-tm [每个taskManager的内存 1024m]
-nm [yarn 的application的name]
-d 后台执行
-q 显示yarn中华可用的资源（内存，cpu核数）
-qu [指定yarn 队列]

yarn-session模式提交任务

flink run
-c [程序入口类,可省略]
-p [设置并行度，可省略]
[jar包的路径] [jar包代码需要的参数]

停止flink-session 集群

yarn application -kill [yarn application id]

2. pre-job 模式任务提交

pre-job模式直接提交任务

flink run
-m yarn-cluster
-c [程序入口类]
-p [设置并行度]
-yjm [指定jobManager内存大小,纯数字 1024]
-ytm [指定taskManager内存大小,纯数字 1024]
[jar包的路径] [jar包代码需要的参数]

取消任务

flink cancel -yid [yarn application id] [jobId]

或者直接kill掉 yarn application

yarn application -kill [yarn application id]

Flink任务提交on-YARN相关推荐

flink 任务提交问题汇总
flink 任务提交问题汇总 1.提交flink自带任务WordCount.jar遇到的问题: 2.提交flink 批处理任务时遇到的问题 3.flink定时任务,mysql连接超时问题 4.flin ...
Hive提交到yarn的任务一直在running问题排查-V2
文章目录一.问题描述二.HiveServer中的SparkSession启动和关闭时机 SparkSession的启动时机 SparkSession的关闭时机三.问题分析四.解决方案第一套方 ...
spark 提交至yarn异常超时 Client cannot authenticate via:[TOKEN, KERBEROS]
spark-cluster提交任务,提示 exit code :10 异常,具体需要到容器日志中去查看 19/08/07 18:09:24 INFO yarn.Client: client token ...
Flink界面提交任务报错500【The program plan could not be fetched】
flink界面提交任务 F12报错 network报错: {"errors":["Internal server error.","<Excep ...
Java搭建Spark程序，提交到Yarn
文章目录 Java搭建Spark程序,提交到Yarn测试 Demo Java搭建Spark程序,提交到Yarn测试 Demo pow文件依赖 <?xml version="1.0&qu ...
Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
目录 Spark Standalone -- 独立集群模式 Standalone 架构图 Standalone 的搭建 1.上传.解压.重命名 2.配置环境变量 3.修改配置文件 conf 4.同步到 ...
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
一: Spark任务提交至YARN运行的3种方式 Spark作为新一代计算平台的闪亮明星,在我们的大数据平台中具有非常重要的作用,SQL查询.流计算和机器学习等场景都能见到它的身影,可以说平台应用的数 ...
flink实现类似spark.yarn.jars的操作
通常flink打包的时候会依赖很多flink相关的依赖,最后打出来的jar包非常大.在spark里面on yarn模式下,我们可以在spark下,通过将spark jars上传到hdfs的目录下,然后 ...
flink二阶提交(没有搞完)
举例说明甲乙丙丁四人要组织一个会议,需要确定会议时间,不妨设甲是协调者,乙丙丁是参与者. 投票阶段: (1)甲发邮件给乙丙丁,周二十点开会是否有时间: (2)甲回复有时间: (3)乙回复有时间: ( ...

Flink任务提交on-YARN

1. yarn-session 模式任务提交

2. pre-job 模式任务提交

Flink任务提交on-YARN相关推荐

最新文章

热门文章