Flink on yarn (HA)测试

前面已经介绍了Flink on yarn的相关部署，在yarn当中，启动Flink有两种模式，分别是客户端模式和分离式，下面将介绍Flink on yarn HA是如何在宕机后，重启Flink及kill掉进程后，进行主备切换的。

首先我们在Flink on yarn的配置中采用了2个JobManager。其实在Flink on yarn 模式中，一般选择一个JobManager已经足够了。

一.配置masters

[root@mdw conf]# vim masters 192.168.44.128:8081192.168.44.142:8081

二.启动Fink yarn session

分离式启动

[root@mdw bin]# /yarn-session.sh -n 3 -jm 1024 -tm 1024  -s 3 -nm FlinkOnYarnSession -d -st

参数：-d代表已分离式模式启动，意味着FlinkOnYarnSession启动后与yarn没有任何关系。

首先我们通过yarn web UI看下application

接下来查看进程

然后杀死这个Jobmanager（AM）进程YarnApplicationMasterRunner，看看Yarn Cluster的HA情况

回到刚才的yarn界面

此时可以看到这个应用从0001切换到了0002；

再次在另一个节点看到，yarn session又启动了

下面另外介绍一下，启动yarn session时的几个参数：

-d:此参数加上代表Flink on yarn属于分离模式；
-n: container 指YARN container分配的个数(即TaskManagers的个数);
-jm:–jobManagerMemory 指JobManager Containe的内存大小，单位为MB;
-tm:–taskManagerMemory 指每个TaskManagerContainer的内存大小，单位为MB;
-s :指每个TaskManager的slot个数;
-

Flink on yarn (HA)测试相关推荐

flink on yarn HA高可用集群搭建
无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManage ...
Flink on Yarn HA模式部署
1. 配置yarn最大重试次数yarn-site.xml: <property><name>yarn.resourcemanager.am.max-attempts</n ...
Flink On Yarn HA 安装和配置
正常基于 Yarn 提交 Flink 程序,无论是使用 yarn-session 模式还是 yarn-cluster 模式 , 基于 yarn 运行后的 application 只要 ki ...
Flink on Yarn（HA配置）
根据部署方式不同,Flink Jobmanager HA配置分为2种: 1.standalone cluster HA 2.Yarn cluster HA 其中,standalone cluster ...
Flink on yarn 集群HA 配置
1. HA 集群环境规划 flink on yarn 的HA 其实是利用yarn 自己的恢复机制.在这需要用到zk,主要是因为虽然flink-on-yarn cluster HA 依赖于Yar ...
Flink （四） Flink 的安装和部署- Flink on Yarn 模式 / 集群HA / 并行度和Slot
接上一篇 Flink (三) Flink 的安装和部署- -Standalone模式 3. Flink 提交到 Yarn Flink on Yarn 模式的原理是依靠 YARN 来调度 Flink ...
详解Flink中yarn部署模式以及测试
在Flink中一共有三种部署模式,分别为local,standalone和yarn模式,由于前两者主要是用于开发和测试,本文将不再赘述,企业中用的更多的是yarn模式,关于yarn模式下为什么比sta ...
Flink on Yarn的两种模式及HA
Flink on Yarn模式部署始末:Flink的Standalone和on Yarn模式都属于集群运行模式,但是有很大的不同,在实际环境中,使用Flink on Yarn模式者居多.那么使用on ...
Flink on yarn集群HA配置
1.集群规划 Flink on yarn 的HA其实是利用yarn自己的恢复机制. 在这里需要用到ZK,主要是因为虽然flink-on-yarn cluster HA 依赖于Yarn自己的集群机制,但 ...

Flink on yarn (HA)测试

分离式启动

Flink on yarn (HA)测试相关推荐

最新文章

热门文章