【hadoop框架】MapReduce 在 YARN 运行详解

（1）Client向Yarn主节点RM提交应用
bin/yarn jar MainClass args
（2）RM在某个NM节点上启动一个Container运行AppMaster,运行应用的管理者
（3）AppMaster向RM请求资源，为了运行MapReduce中所有的Task，RM将分配NM是哪个资源，并且告知AppMaster
（4）AppMaster联系NM，启动Container中相关Task（Map Task和Reduce Task）
（5）运行的Task会实时的向AppMaster进行汇报，用于监控整个应用。
（6）当所有Task（Reduce Task）运行完成,appMaster告知RM，销毁AppMaster
（7）RM给Client相应

知识点：
Container容器：将资源（CPU和memory）进行隔离，单独给某个Task独立使用
阿里云服务，给你提供的服务就是一个容器

【hadoop框架】MapReduce 在 YARN 运行详解相关推荐

Hadoop框架：DataNode工作机制详解
本文源码:GitHub·点这里 || GitEE·点这里一.工作机制 1.基础描述 DataNode上数据块以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是数据块元数据包括长度.校验.时 ...
Hadoop框架：NameNode工作机制详解
本文源码:GitHub·点这里 || GitEE·点这里一.存储机制 1.基础描述 NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,当元数据有更新或者添加元数据 ...
Hadoop在MapReduce中使用压缩详解
Hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,Hadoop能够自动为我们将压缩的文件解压,而不用我们去关心. AD:51CTO学院:IT精品课程在线看! Hadoo ...
[转]Hadoop集群_WordCount运行详解--MapReduce编程模型
Hadoop集群_WordCount运行详解--MapReduce编程模型下面这篇文章写得非常好,有利于初学mapreduce的入门 http://www.nosqldb.cn/1369099810 ...
MapReduce：Shuffle过程详解
MapReduce:Shuffle过程详解 1.Map任务处理 1.1 读取HDFS中的文件.每一行解析成一个<k,v>.每一个键值对调用一次map函数. & ...
解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住
解决 hadoop 2.x 配置 yarn 运行任务 Running job 卡住错误信息: 21/06/24 18:56:40 WARN util.NativeCodeLoader: Unable ...
Django框架学习（一）Django框架安装和项目创建详解
Django框架学习(一)Django框架安装和项目创建详解文章目录 Django框架学习(一)Django框架安装和项目创建详解一.简介 1.1介绍 1.2 URL 1.3.框架原理二.安装 ...
python语言的格式框架_django框架模板语言使用方法详解
本文实例讲述了django框架模板语言使用方法.分享给大家供大家参考,具体如下: 模板功能作用:生成html界面内容,模版致力于界面如何显示,而不是程序逻辑.模板不仅仅是一个html文件,还包括了页 ...
DL之YoloV3：Yolo V3算法的简介(论文介绍)、各种DL框架代码复现、架构详解、案例应用等配图集合之详细攻略
DL之YoloV3:Yolo V3算法的简介(论文介绍).各种DL框架代码复现.架构详解.案例应用等配图集合之详细攻略目录 Yolo V3算法的简介(论文介绍) 0.YoloV3实验结果 1.Yol ...

【hadoop框架】MapReduce 在 YARN 运行详解

【hadoop框架】MapReduce 在 YARN 运行详解相关推荐

最新文章

热门文章