Flink Standalone 集群部署
Flink 支持使用多种部署模式来满足不同规模应用的需求,常见的有单机模式,Standalone Cluster 模式,同时 Flink 也支持部署在其他第三方平台上,如 YARN,Mesos,Docker,Kubernetes 等。以下主要介绍其Standalone Cluster 模式的部署。
Standalone Cluster 模式是 Flink 自带的一种集群模式,具体配置步骤如下:
安装部署
1. 前置条件
使用该模式前,需要确保所有服务器间都已经配置好 SSH 免密登录服务。这里我以三台服务器为例,主机名分别为 hadoop001,hadoop002,hadoop003 , 其中 hadoop001 为 master 节点,其余两台为 slave 节点。
主机名 | master | slave |
hadoop001 |
√ |
|
hadoop002 |
√ |
|
hadoop003 |
√ |
2. 搭建步骤
Flink 所有版本的安装包可以直接从其官网进行下载,这里我下载的 Flink 的版本为 1.12.4
,要求的 JDK 版本为 1.8.x +
。 下载后解压到指定目录:
tar -zxvf flink-1.12.4-bin-scala_2.11.tgz -C /usr/app
修改 conf/flink-conf.yaml
中 jobmanager 节点的通讯地址为 hadoop001:
jobmanager.rpc.address: hadoop001
修改 conf/slaves
配置文件,将 hadoop002 和 hadoop003 配置为 slave 节点:
hadoop002
hadoop003
将配置好的 Flink 安装包分发到其他两台服务器上:
scp -r /usr/app/flink-1.12.4 hadoop002:/usr/app
scp -r /usr/app/flink-1.12.4 hadoop003:/usr/app
在 hadoop001 上使用如下命令来启动集群:
bin/start-cluster.sh
此时控制台输出如下:
启动完成后可以使用 Jps
命令或者通过 WEB 界面来查看是否启动成功。
3. 可选配置
除了上面介绍的 jobmanager.rpc.address 是必选配置外,Flink 还支持使用其他可选参数来优化集群性能,主要如下:
- jobmanager.heap.size:JobManager 的 JVM 堆内存大小,默认为 1024m 。
- taskmanager.heap.size:Taskmanager 的 JVM 堆内存大小,默认为 1024m 。
- taskmanager.numberOfTaskSlots:Taskmanager 上 slots 的数量,通常设置为 CPU 核心的数量,或其一半。
- parallelism.default:任务默认的并行度。
- io.tmp.dirs:存储临时文件的路径,如果没有配置,则默认采用服务器的临时目录,如 LInux 的
/tmp
目录。
更多配置可以参考 Flink 的官方手册:Configuration
Flink Standalone 集群部署相关推荐
- 04_Flink-HA高可用、Standalone集群模式、Flink-Standalone集群重要参数详解、集群节点重启及扩容、启动组件、Flink on Yarn、启动命令等
1.4.Flink集群安装部署standalone+yarn 1.4.1.Standalone集群模式 1.4.2.Flink-Standalone集群重要参数详解 1.4.3.集群节点重启及扩容 1 ...
- flink启动命令参数_Flink集群部署
部署方式 一般来讲有三种方式: Local Standalone Flink On Yarn/Mesos/K8s- 单机模式 参考上一篇Flink从入门到放弃(入门篇2)-本地环境搭建&构建第 ...
- 如何在 Flink 集群部署 Alink?
简介:在 Flink 集群部署 Alink,需要部署三个 Jar 包(本文会有一个部分专门讲述如何获取),对于不同 Flink 集群环境,方式有些区别,本文主要讨论 Standalone 集群和 Ku ...
- 学习笔记Hadoop(五)—— Hadoop集群的安装与部署(2)—— Hadoop集群部署模式、配置固定IP
一.Hadoop集群部署模式 Hadoop的安装部署的模式一共有三种: 独立模式(本地模式) standalone 默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行.由于 ...
- zookeeper的单实例和伪集群部署
原文链接: http://gudaoyufu.com/?p=1395 zookeeper工作方式 ZooKeeper 是一个开源的分布式协调服务,由雅虎创建,是 Google Chubby 的开源实现 ...
- rabbitmq集群部署及配置
rabbitmq集群部署及配置 文章目录 rabbitmq集群部署及配置 前言 一.原理介绍 二.部署方案 1.环境介绍 2.部署过程 小结 前言 消息中间件rabbitmq,一般以集群方式部署,主要 ...
- Nacos集群部署方案
1. 介绍 生产环境部署nacos使用集群部署方案cluster来保障高可用 2. 集群部署架构图 nacos官方推荐把所有服务列表放到VIP下面,然后挂到一个域名下面 http://ip1:port ...
- Nacos集群部署-详细篇
目录 一.官网说明: 二.单机模式: Windows单机模式: Linux/Unix/Mac单机模式: 单机模式支持mysql: 三.集群部署: 1. 预备环境准备: 2.下载源码或者安装包: 3. ...
- Nacos生产环境集群部署方案
1.介绍 生产环境中部署nacos首先肯定是使用集群模式cluster保证高可用. 2.集群部署架构图 nacos 官方推荐用户把所有服务列表放到一个vip下面,然后挂到一个域名下面 http://i ...
最新文章
- TSNE Understanding
- python新特性赋值_变量与赋值_Python入门视频课程_Python视频-51CTO学院
- yyyyMMddHHmmss转变为日期格式
- 【视频课】一课彻底掌握深度学习人脸图像算法,长期更新
- 如何向mysql导入数据库(。sql文件)
- 第14课:动手实战中文命名实体提取
- Angular 2.x 从0到1 (五)史上最简单的Angular2教程
- jzoj4012-Distinct Paths【搜索】
- (造轮子)C 创建队列和图实现广度优先算法(BFS)和深度优先算法(DFS)(数据结构)
- 使窗口(和 MDI 子窗口)的关闭按钮变灰的方法 - 回复 梦想成真
- java web项目自动部署到Tomcat的原因
- k3s 卸载_Mac-Homebrew安装/卸载/更换国内镜像源
- ROS kinetic + Ubuntu16.04编译LSD-SLAM
- Python学习笔记之 循环,列表生成式,生成器,迭代器
- matlab如何预测数据,matlab预测数据
- NLP系列之文本分类
- excel多个窗口独立显示_办公软件操作技巧060:如何快速切换excel工作簿
- git拉取代码报错update_ref failed for ref ‘ORIG_HEAD‘:cannot lock ref ‘ORIG_HEAD‘
- 电脑芯片级维修点常用工具一览
- Android中的UI组件