【若泽大数据高级第三天】--基于阿里云的YARN HA架构

文章目录

YARN HA 架构
- 架构图
- 进程部署情况

YARN HA 架构

架构图

进程部署情况


Hadoop001	ZK	RM(zkfc)	NM
Hadoop002	ZK	RM(zkfc)	NM
Hadoop003	ZK	-	NM

ZKFC在hdfs HA 中式一个单独的进程，但是在YARN的HA中，zkfc是RM进程中的一个线程
RMStateStore()：
存储在zk的/rmstore目录下

activeRM回想这个目录写APP信息
当activeRM挂起时，standbyRM通过ZKFC线程选举为active(不是ZKFC选举)，会从/rmstore读取相应的作业信息；重新构建作业的内存信息，启动内部的服务后开始接收NM的心跳，构建集群的资源信息，并接收客户端的作业请求
因此YARN NM上报心跳和HDFS DN上报心跳等状态不一样，YARN NM上报心跳只向active状态节点汇报

ResourceManager(RM)

启动时会向ZK的/rmstore目录写lock文件，写成功就为active，否则就是standby状态
接收client的请求，纪无首和监控NM的资源状况的汇报，负载资源的分配和调度
启动和监控AppMaster on NM 节点的container

Node Manager(NM)
节点资源的管理器，启动容器运行task计算并上报资源，汇报task运行进度

【若泽大数据高级第三天】--基于阿里云的YARN HA架构相关推荐

大数据改变中国交通浙江用阿里云看未来
文章讲的是大数据改变中国交通浙江用阿里云看未来,12月2日,浙江省交通运输厅公布了一项新的试点项目:将高速历史数据.实时数据与路网状况结合,基于阿里云大数据平台,预测未来一小时内的路况. 结果显示,实 ...
阿里云ACP大数据工程师认证，ACP，阿里云ACP认证，阿里云认证，大数据工程师认证
阿里云ACP大数据工程师认证先放证书镇楼 ACP认证考试心得阿里云ACP级专业工程师认证考试不难,只要系统性复习官方文档一次考过其实并不难.大家普遍给出的意见都是要着重复习<阿里云官方文档& ...
如何用python抓取qq音乐_手把手教你使用Python抓取QQ音乐数据（第三弹）-阿里云开发者社区...
[一.项目目标] 通过手把手教你使用Python抓取QQ音乐数据(第一弹)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 通过手把手教你使用Python抓取QQ音乐 ...
【若泽大数据实战第十六天】Hive的安装部署 + 课程一个月总结
前言: Hadoop的课程已经告一段落,基本上在零基础课程里不会再出现了,接下来的课程由若总来上,第一讲Have. 复习前一个月的课程内容: 1.Linux Linux: 文件(*****) 权限(* ...
2021年大数据Hadoop（三十）：Hadoop3.x的介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Hadoop3.x的介绍介绍 Hadoop 3.0新特性 ...
年薪不到 25.2 万免费学，廖雪峰的“大数据高级开发”课程第5期开始招生
8月,开课吧与百度.微软.阿里.滴滴以及创新工场等头部企业展开深度合作.至此,开课吧系统化课程<大数据高级开发工程师>将注入更多"大厂脱敏数据.实战项目.云服务等"新鲜 ...
年薪不到 25.2 万退学费，廖雪峰的“大数据高级开发”课程招生
8月,开课吧与百度.微软.阿里.滴滴以及创新工场等头部企业展开深度合作.至此,开课吧系统化课程<大数据高级开发工程师>将注入更多"大厂脱敏数据.实战项目.云服务等"新鲜 ...
大数据高级开发工程师——Spark学习笔记（9）
文章目录 Spark内存计算框架 Spark Streaming Spark Streaming简介 Spark Streaming架构流程什么是DStream DStream算子操作 1. Tra ...
2019尚硅谷大数据Javaweb篇三 Ajax、JSTL、会话技术、过滤器、监听器、xml、json
2019尚硅谷大数据 Javaweb篇三Ajax.JSTL.会话技术.过滤器.监听器 tags: 大数据 2019尚学堂 categories: Ajax异步请求 JSTL中的if和forEach 会 ...
【若泽大数据001】Linux基础知识汇总
[若泽大数据001]Linux基础知识汇总前情提要: Linux平台搭建 [若泽大数据001]Linux基础知识汇总 1.查看当前光标所在的目录的命令是什么? 2.切换到当前用户的家目录,哪三种方式 ...

【若泽大数据高级第三天】--基于阿里云的YARN HA架构

文章目录

YARN HA 架构

架构图

进程部署情况

【若泽大数据高级第三天】--基于阿里云的YARN HA架构相关推荐

最新文章

热门文章