目录
- 前言:
- 1、YARN概述
- 2、mapreduce&yarn的工作机制
- 总结：

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序
YARN的重要概念
1、 yarn并不清楚用户提交的程序的运行机制
2、 yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责分配资源）
3、 yarn中的主管角色叫ResourceManager
4、 yarn中具体提供运算资源的角色叫NodeManager
5、这样一来，yarn其实就与运行的用户程序完全解耦，就意味着yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、storm程序，spark程序，tez ……
6、所以，spark、storm等运算框架都可以整合在yarn上运行，只要他们各自的框架中有符合yarn规范的资源请求机制即可
7、 Yarn就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享。

2、mapreduce&yarn的工作机制

客户端提交程序到yarn的整个过程如下图所示：

主要分为以下几个关键步骤：
1、客户端发送Application的提交请求到ResourceManager。
2、客户端收到返回的存储位置信息后，将相关的文件存储到HDFS对应的位置（实际就是mrAPPmaster所在的node上的位置）
3、向yarn申请启动mrappmaster。
4、yarn将提交的申请信息进行封装转化为一个Task放进队列中等待处理。
5、相应的node领到task，运行mrappmaster，将相关的Job信息下载到本地。
6、mrappmaster向yarn申请运行maptask所需的node，各个node创建各自的容器container来处理maptask。
7、mrappmaster将job的相关信息发送的各个maptask所在的node上。
8、maptask的分区排序。
9、mrappmaster向yarn申请运行reducetask所需node
10、reducetask阶段
11、mrappmaster向resourcemanager申请注销自己。

yarn有内存分离机制会给一个进程提供一块固定的资源空间(CPU+RAM)来运行，类似于一个容器，此处叫做container,一个节点包含多个container。

总结：

最主要了解yarn在整个MR过程中起到的作用：即先通过Yarn来启动mrappmaster，再通过mrappmaster来申请对应的Maptask和ReduceTask的资源，（内部处理任务的单元是一个Container容器）任务执行完毕后mrappmaster向Yarn申请注销自己。

Yarn在MapReduce中的工作机制相关推荐

MapReduce1和Yarn的工作机制
Hadoop中的MapReduce的工作机制分为两种: MapReduce 1 也就是Hadoop 2.0之前的工作机制 YARN MapReduce 1 构成 MapReduce 1最主要的其实就是 ...
Yarn基本架构和工作机制
Yarn基本架构和工作机制概念 Yarn基本架构 ResourceManager (RM)作用 NodeManager (NM)作用 ApplicationMaster (AM)作用 contain ...
Hadoop之Yarn工作机制详解
Hadoop之Yarn工作机制详解目录 Yarn概述 Yarn基本架构 Yarn工作机制作业提交全过程详解 1. Yarn概述 Yarn是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于 ...
经典MapReduce作业和Yarn上MapReduce作业运行机制
一.经典MapReduce的作业运行机制如下图是经典MapReduce作业的工作原理: 1.1 经典MapReduce作业的实体经典MapReduce作业运行过程包含的实体: 客户端,提交MapR ...
【MapReduce】MapReduce工作机制
一个mapreduce作业,一般分为两阶段执行:map阶段和reduce阶段,下面分别对这两阶段进行介绍. Map阶段 Map阶段又分为五部分:读取文件阶段,MapTask阶段,collect阶段,溢 ...
第6章-MapReduce的工作机制-笔记
为什么80%的码农都做不了架构师?>>> 作业的提交可以只用一行代码来运行一个MapReduce作业: JobClient.runJob(conf). 作业的调度 Hadoo ...
MapTask运行机制详解以及Map任务的并行度,ReduceTask 工作机制以及reduceTask的并行度,MapReduce总体工作机制
MapTask运行机制详解整个Map阶段流程大体如图所示简单概述 inputFile通过split被逻辑切分为多个split文件, 通过Record按行读取内容给map(用户自己实现的)进行处理, ...
mapreduce工作流程_详解MapReduce中的五大编程模型
前言我们上一节讲了关于 MapReduce 中的应用场景和架构分析,最后还使用了一个CountWord的Demo来进行演示,关于MapReduce的具体操作.如果还不了解的朋友可以看看上篇文章:[初 ...
【C 语言】文件操作 ( C 语言中的文件操作函数 | 磁盘与内存缓冲区 | 缓冲区工作机制 )
文章目录一.C 语言中的文件操作函数二.磁盘与内存缓冲区三.缓冲区工作机制一.C 语言中的文件操作函数读取文本文件可以使用 getc , fgets , fscanf 函数 , 向文本 ...

Yarn在MapReduce中的工作机制

目录

前言:

1、YARN概述

2、mapreduce&yarn的工作机制

总结：

Yarn在MapReduce中的工作机制相关推荐

最新文章

热门文章