Hadoop的简单概述以及架构
Hadoop的简单概述以及架构
1、hadoop概述:hadoop是一个适合海量数据分布式存储和分布式计算的平台。
2、hadoop是一个统称,hadoop主要包含三大组件:
(1)hdfs:是一个分布式存储框架,适合海量数据存储
(2)mapreduce:是一个分布式计算框架,适合海量数据计算
(3)yarn:是一个资源调度平台,负责给计算机框架分配计算资源
一、hdfs架构分析
1、负责数据的分布式存储
2、主从结构:主节点 namenode 从节点 datanode
3、namenode负责:接收用户的操作请求,是用户操作的入口
维护文件系统的目录结构,称为命名空间
4、datenode负责:存储数据
二、yarn架构分析
1、资源的调度和管理平台
2、主从结构:主节点:ResourceManger 从节点:NodeManger
3、ResourcManger负责:集群资源的分配和调度,MapReduce、Storm、Spark等应用,必须实现
Application接口才能被RM管理
4、NodeManger负责:单节点资源的管理(cpu+内存)
三、mapreduce架构分析
1、依赖磁盘io的批量处理计算模型
2、主从结构 :主节点:MRAppMaster 从节点 :task
3、MRAppMaster负责:接收客户端提交的计算任务
把计算任务分给NodeManager的Container中执行,即任务调度Container是YARN中资源的抽象,它封装了某个节点上一定量的资源(CPU和内存两类资源)Container由ApplicationMaster向ResourceManager申请的,由ResouceManager中的资源调度器异步 分配给ApplicationMasterContainer的运行是由ApplicationMaster向资源所在的NodeManager发起的监控Container中Task的执行情况
4、Task负责:处理数据
3、hadoop特点
1、扩容能力:能可靠的存储和处理pb级别的数据,如果数据量更大,增加节点就可以了
2、成本低:可以通过普通机器组成的服务器集群来分发和处理数据,这些服务器的节点可 以达到上千个
3、高效率:通过分发计算程序,hadoop可以在数据所在的节点上(本地)并行的处理他 们,这使得处理非常的迅速
4、可靠性:hadoop能够自动的维护数据的多份副本,并且在任务失败后能够自动的重新 部署计算任务
Hadoop的简单概述以及架构相关推荐
- Hadoop和Spark简单概述
文章目录 Hadoop和Spark概述 一. 简单说说Hadoop 1. Hadoop的产生背景 2. Hadoop核心技术 二. 简单说说Spark 1. Spark的官方定义 2. Spark的核 ...
- Hadoop之HDFS概述
Hadoop之HDFS概述 目录 HDFS产生背景 HDFS概念 HDFS优缺点 HDFS组成架构 1. HDFS产生背景 随着数据量越来越大,在一个操作系统管辖的范围内存不下了,那么就分配到更多的操 ...
- 分享:阿里P8架构师深度概述分布式架构
简介 作为一名架构师,我们要专业,要能看懂代码,及时光着臂膀去机房,也能独挡一面!及时同事搞不定问题,或者撂挑子,你也能给老大一个坚定的眼神:不怕,有我在!还能在会议室上滔滔不绝,如若无人,让不懂技术 ...
- [MAUI 项目实战] 手势控制音乐播放器(一): 概述与架构
这是一篇系列博文.请关注我,学习更多.NET MAUI开发知识! [MAUI 项目实战] 手势控制音乐播放器(一): 概述与架构 [MAUI 项目实战] 手势控制音乐播放器(二): 手势交互 [MAU ...
- java虚拟机-简单概述(五月的仓颉)
1 java的简单概述 java版本介绍 1.Java SE(标准版),主要活跃在桌面领域,主要包含了Java API组件. 2.Java EE(企业版),活跃在企业级领域,除了包含Java API ...
- 一个简单的三层架构例子(.NET入门)
最近开始学习.NET 用的是c# 目前要用三层架构的模式开发一个简单的图书管理系统,不过以为刚接触这门技术.做起来分外吃力,甚至连究竟要写些什么都不清楚. 于是乎上网到处找寻三层架构的基础入门知识,终 ...
- 构建自己的简单微服务架构(开源)
构建自己的简单微服务架构(开源) 原文:构建自己的简单微服务架构(开源) 前言 本篇仅作引导,内容较多,如果阅读不方便,可以使用电脑打开我们的文档官网进行阅读.如下图所示: 文档官网地址:https: ...
- WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GLUE code)
WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GLUE code) 原文:WPF MVVM 架构 Step By Step(2)(简单的三层架构示例及粘合代码GL ...
- 搭建Hadoop的HA高可用架构(超详细步骤+已验证)
一.集群的规划 Zookeeper集群: 192.168.182.12 (bigdata12)192.168.182.13 (bigdata13)192.168.182.14 (bigdata14) ...
最新文章
- C++_泛型编程与标准库(八)
- [置顶] 给Fedora修改默认的软件下载源
- Java面试题之HashMap如何有效减少碰撞
- 五个常用的Linux监控脚本代码
- 使用openssl完成aes-cbc模式的数据加解密,输入和输出都是字符串的形式
- python 读取txt文件没读到400行_400行Python代码实现文语处理助手(3) - 音频显示-嵌入式系统-与非网...
- typedef函数指针用法 .
- 【机器学习】Logistic Regression逻辑回归原理与java实现
- Altium designer-PCB设计基础笔记
- EndNote X8使用总结
- 卡方检验c语言算法,R语言 | 卡方检验(Chi-squaretest)
- 高等数学--集合概念
- 小程序轮播图 swiper当前滑块容器样式
- 陶哲轩实分析定理 11.4.3 $\max$与$\min$保持黎曼可积性
- 逆光人物摄影构图灵感经验分享,在集设网参与设计大咖的成长之路!
- 91免费视频Redis+Lua解决高并发场景在线秒杀问题
- Unsupported or unrecognized SSL message
- js判断鼠标滚动放下,向上滚还是向下滚?
- VS2012 BIDS之Reporting Service/SSRS 项目2--开发过程问题总结(全)
- 华为Smart AX MT800设置路由器教程【二】
热门文章
- 惠普348g3拆机教程_惠普348 G4:换我吧!让你的工作效率提升39%
- java random 随机性和安全性小议
- 高通骁龙480 5G处理器规格书/datasheet
- linux grep 获取当天时间段,linux grep 多条件搜索及按照时间段搜索
- android spinner 简书,Spinner添加数据
- PHP连接ACCESS(MDB)数据库的时候中文乱码问题的解决方案
- [转]Flash与页面交互的钥匙之 AllowScriptAccess
- SpringMVC学习总结
- ant使用总结(二):相关命令说明
- 联想linux笔记本评测,联想小新15 2020 锐龙版开箱评测