【网址收藏】Hadoop3.2.1 【 YARN 】源码分析 : ResourceLocalizationService解析

负责Container所需资源的本地化。它能够按照描述从HDFS上下载Container所需的文件资源，
并尽量将它们分摊到各个磁盘上以防止出现访问热点。此外，它会为下载的文件添加访问控制限制，并为之施加合适的磁盘空间使用份额。

YARN将资源分为PUBLIC、 PRIVATE和APPLICATION三类，不同级别的资源对不同用户和应用程序的访问权限不同，
这也直接导致资源的本地化方式不同。尽管它们的本地化由ResourceLocalizationService服务完成，
但内部由不同线程负载下载，
即所有应用程序的PUBLIC资源由ResourceLocalizationService内部专门的线程PublicLocalizer下载完成，
该线程内部维护了一个线程池以加快资源下载速度，
而每个应用程序的每种PRIVATE或APPLICATION资源分别由一个专门的线程LocalizerRunner负责下载。
该线程将启动一个资源下载客户端ContainerLocalizer，
该客户端通过RPC协议LocalizationProtocol访问ResourceLocalizationService服务，
以获取待下载的资源。

https://blog.csdn.net/zhanglong_4444/article/details/112863148

【网址收藏】Hadoop3.2.1 【 YARN 】源码分析 : ResourceLocalizationService解析相关推荐

MyBatis 源码分析 - 配置文件解析过程
文章目录 * 本文速览 1.简介 2.配置文件解析过程分析 2.1 配置文件解析入口 2.2 解析 properties 配置 2.3 解析 settings 配置 2.3.1 settings 节点 ...
YARN源码分析(一)-----ApplicationMaster
前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的 ...
YARN源码分析—AM-RM通信协议，获得资源
在上几篇博文中分析了YARN调度模拟器SLS的源码,重点分析了AM与RM之间的通信协议. 接下来分析在YARN项目中,AM-RM通信如何实现的. 注意点:在YARN中,真正已经实现的只有RM和NM,而 ...
xserver源码分析之解析xorg.conf
一.X系统基本概念: XServer 是一个集中信息处理系统,它负责从 XClient 进程接收绘图指令(原始数据),并将本地的输入设备产生的数据转换为消息发送到 XClient 进程.这个过程看似简 ...
Hadoop3.2.1 【 HDFS 】源码分析 : ZKFailoverController解析
List of articles 一.前言二.启动入口三. doRun 3.1.initZK 初始化ZK,构建连接信息 3.2.formatZK(force, interactive); 3.3. ...
Hadoop3.2.1 【 HDFS 】源码分析 : BPOfferService 解析
................................................................................ 一.前言二.BPOfferServi ...
soul 源码分析 —— 插件解析之monitor插件
说明 monitor插件是网关用来监控自身运行状态(JVM相关),请求的响应迟延,QPS.TPS等相关metrics. 设计图使用后台配置: 在 monitor 插件中新增以下配置 {" ...
Vue.js 源码分析(二十三) 指令篇 v-show指令详解
v-show的作用是将表达式值转换为布尔值,根据该布尔值的真假来显示/隐藏切换元素,它是通过切换元素的display这个css属性值来实现的,例如: <!DOCTYPE html> < ...
MyBatis 源码分析 - 插件机制
1.简介一般情况下,开源框架都会提供插件或其他形式的拓展点,供开发者自行拓展.这样的好处是显而易见的,一是增加了框架的灵活性.二是开发者可以结合实际需求,对框架进行拓展,使其能够更好的工作.以 My ...

【网址收藏】Hadoop3.2.1 【 YARN 】源码分析 : ResourceLocalizationService解析

【网址收藏】Hadoop3.2.1 【 YARN 】源码分析 : ResourceLocalizationService解析相关推荐

最新文章

热门文章