阿里美女面试官问我：Flink资源管理有了解吗
三连后观看，养成好习惯！
点个关注吧，球球啦！
Flink Runtime运行时架构：https://blog.csdn.net/Mr_kidBK/article/details/105709629
前言
Apache Flink 一个高性能的分布式数据处理引擎，它用于对无界和有界数据流进行有状态计算，它被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。
相信过多的我不需要做什么介绍，本系列将以flink整体架构，资源管理与作业调度，错误恢复三个层面详细的讲述Flink Runtime运行时架构核心机制。
正文
书接上回。。。
好了我们继续吧
稍作歇息之后，美女面试官又回到了座位上，期间似乎补了个妆，还换了身衣服？！
这。这谁顶得住。。。
Flink资源管理有了解吗，流程简单描述下
可以，不愧是选中我的面试官。
之前我们说过，Flink中也有他自己的资源资源管理器RM，具体说的话资源管理就是RM中一个叫SlotManager的一个组件，他负责维护管理Slot状态和分配空闲的Slot资源。
JobManager需要对整个作业负责，因此首先是由它发起向RM索要slot资源的请求，而在TM启动的时候，他会主动的向RM报告自己的Slot信息，包括有多少个slot，每个slot的资源大小（社区版无）。当RM收到JM的申请时，会计算集群空闲资源是否满足需求，如果达到需求，RM会向被分配的TM发送通知“你的xxSlot被征用了，请去xxx地和JM接头！”
然后，TM收到通知后，会找到JM，告诉他“你的申请成功了，这些Slot现在暂时归你了！”；JM收到Slot后，会把Slot信息缓存在一个SlotPool中，在收到足够的Slot后，JM会把task提交到对应的Slot上，也就是提交任务执行。
当作业结束，无论是异常结束还是正常结束，TM都会向RM发送释放对应Slot的请求。
（结合上图更容易理解哦！）
上篇文章你也说过，在生成JobGraph时Flink会把能分配在一起的task分到一起（疯狂暗示）
Operator Chains（算子链）这个概念你了解吗？
为了更高效地分布式执行，Flink会尽可能地将operator的subtask链接（chain）在一起形成task，这些task会在相同的slot中被执行，它能减少线程之间的切换，减少消息的序列化/反序列化，减少数据在缓冲区的交换，减少了延迟的同时提高整体的吞吐量。
什么情况下才会把Operator chain在一起形成算子链？
比如说我现在有这样一个job，并行度为3
首先，相同的task是不能chain的，如A1，A2，A3。
两个task之间分区方式是forward（上下游算子并行度一样），并且他们在一个slot group 中
下游节点的入度为1 （也就是说下游节点没有来自其他节点的输入）
下一章：checkpoint容错机制与错误恢复
点关注，不迷路！
你知道的越多，你的头就会越秃
点个赞再走,球球啦!
原创不易,白嫖不好，各位的支持和认可，就是我创作的最大动力，我们下篇文章见！
本博客仅发布于CSDN—一个帅到不能再帅的人 Mr_kidBK。转载请标明出处。
https://blog.csdn.net/Mr_kidBK
点赞！收藏！转发！！！么么哒！
点赞！收藏！转发！！！么么哒！
点赞！收藏！转发！！！么么哒！
点赞！收藏！转发！！！么么哒！
点赞！收藏！转发！！！么么哒！
————————————————
阿里美女面试官问我：Flink资源管理有了解吗相关推荐
- 美女面试官问我Python如何优雅的创建临时文件，我的回答....
[摘要] 本故事纯属虚构,如有巧合,他们故事里的美女面试官也肯定没有我的美,请自行脑补... 小P像多数Python自学者一样,苦心钻研小半年,一朝出师投简历. 这不,一家招聘初级Python开发工程 ...
- 美女面试官问我：能说几个常见的Linux性能调优命令吗？
案例关注"Java后端技术全栈" 回复"000"获取大量电子书 本文主要内容: 简单回答: top.iostat.pidstat.ps.vmstat.netst ...
- 美女面试官问我链表的CURD，我彻底懵圈了……
欢迎和号主[前端点线面]进群盘算法,此外本号干货满满:14个门类(100+篇原创)内容(又干又硬).<前端百题斩>pdf(助力薪资double).20+篇思维导图(知识系统化.记忆简单化) ...
- eureka自我保护时间_阿里面试官问我：到底知不知道什么是Eureka，这次，我没沉默...
文章首发:阿里面试官问我:到底知不知道什么是Eureka,这次,我没沉默 什么是服务注册? 首先我们来了解下,服务注册.服务发现和服务注册中心的之间的关系. 举个形象的例子,三者之间的关系就好像是供货 ...
- 面试阿里！妹子终面，阿里面试官问：有没有男朋友？ 结果...
点击"开发者技术前线",选择"星标????" 在看|星标|留言, 真爱 作者: 前线小熙 | 责编: 可可 来源 :开发者技术前线 刚好要到端午节前 ...
- 妹子面试阿里，面试官竟问她有没有男朋友？面试真题「PDF分享
刚好要到八月十五前后,又是大家 面试的高峰期,本文是Java开发 小熙(妹子) 的面试分享.之前有分享过很多面试:拿到蚂蚁金服 offer, 我不去了.身为技术专家的我,面试居然还要靠刷题?,刷了一个 ...
- 面试官问：能否模拟实现JS的bind方法（高频考点）
可以点击上方的话题JS基础系列,查看往期文章 写于2018年11月21日,发布在掘金阅读量1.3w+ 前言 这是面试官问系列的第二篇,旨在帮助读者提升JS基础知识,包含new.call.apply.t ...
- 面试官问：能否模拟实现JS的new操作符(高频考点)
可以点击上方的话题JS基础系列,查看往期文章 这篇文章写于2018年11月05日,new模拟实现,Object.create是面试高频考点,之前发布在掘金有近2万人阅读,现在发布到公众号声明原创. 1 ...
- 岗位po是什么意思_面试时，面试官问你有什么优点和缺点？应该如何巧妙的回答？...
工作多年,被面试过很多次,也面试过很多人,其中有一次印象最深刻,这次我不是主面试官,经理要面试一个候选人,他就拉上了我,作为陪衬,用经理的话说就是撑撑场面, 所以问题的主要是我们经理. 当问到一个问题 ...
- 我以为我对Mysql索引很了解，直到我遇到了阿里的面试官
GitHub 4.8k Star 的Java工程师成神之路 ,不来了解一下吗? GitHub 4.8k Star 的Java工程师成神之路 ,真的不来了解一下吗? GitHub 4.8k Star 的 ...
最新文章
- c#，将pdf文件转换成图片文件。
- CPU寻址过程方框图
- PR值：PagePank算法
- BoooLee pyretoolkit -- 一个基于python re模块的在线正则表达式测试工具
- 4thweek.P_problemB .poj1505copy books.二分法
- android滑动基础篇 TouchView
- windows xp下安装java8(jdk8)-转
- 如何下载指定版本的elasticsearch和kibana
- python 2 版本中的input() 和 raw_input() 函数的比较
- 2014520420145212信息安全系统实验三报告
- C# 线程安全的单例模式
- Mysql的持久层_持久层(数据层,Dao层) MyBatis框架
- 印象笔记支持Markdown语法
- 卡第那思让法铁的螺丝紧固件的数量一年内减少了15％
- 微信小程序模拟器里面不能显示自己写的INDEX
- rabbitmq 手动提交_RabbitMQ 相关问题总结--RabbitMQ 如何确保消息发送和消费？
- 沈向洋回归，从微软独立的小冰要弯道超车了
- 笔记本无线网卡失效（红叉）故障排除
- 2opt邻域搜索算法—以旅行商问题为例
- 地图可视化“一网打尽“