Hadoop的基本框架

1、Hadoop的整体框架

Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成，其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS（Hadoop Distributed File System）来执行MapReduce程序的MapReduce引擎。

（1）Pig是一个基于Hadoop的大规模数据分析平台，Pig为复杂的海量数据并行计算提供了一个简单的操作和编程接口；

（2）Hive是基于Hadoop的一个工具，提供完整的SQL查询，可以将sql语句转换为MapReduce任务进行运行；

（3）ZooKeeper:高效的，可拓展的协调系统，存储和协调关键共享状态；

（4）HBase是一个开源的，基于列存储模型的分布式数据库；

（5）HDFS是一个分布式文件系统，有着高容错性的特点，适合那些超大数据集的应用程序；

（6）MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

下图是一个典型的Hadoop集群的部署结构：

接着给出Hadoop各组件依赖共存关系：

2、Hadoop的核心设计

Hadoop的基本框架相关推荐

分享：Hadoop的Python框架指南
Hadoop的Python框架指南 http://www.oschina.net/translate/a-guide-to-python-frameworks-for-hadoop
Hadoop 新 MapReduce 框架 Yarn 详解
Hadoop MapReduceV2(Yarn) 框架简介原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储 ...
Hadoop的Python框架指南
http://www.oschina.net/translate/a-guide-to-python-frameworks-for-hadoop 最近,我加入了Cloudera,在这之前,我在计算生物 ...
Storm与Spark、Hadoop三种框架对比
目录 Storm与Spark.Hadoop三种框架对比一.Storm与Spark.Hadoop三种框架对比二.hadoop的应用业务分析二.浅谈Hadoop的基本原理 Hadoop与Storm的 ...
hadoop之MapReduce框架TaskTracker端心跳机制分析(源码分析第六篇)
1.概述 MapReduce框架中的master/slave心跳机制是整个集群运作的基础,是沟通TaskTracker和JobTracker的桥梁.TaskTracker周期性地调用心跳RPC函数,汇 ...
hadoop的python框架指南_Python之——用Mrjob框架编写Hadoop MapReduce程序(基于Hadoop 2.5.2)...
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/79056120 一.环境准备想了解如何使用原生Python编写MapReduce程序 ...
Apache Hadoop下一代MapReduce框架（YARN）简介（Apache Hadoop NextGen MapReduce (YARN)）
英文看着头大,先试着翻译一下. E文原文:http://archive.cloudera.com/cdh5/cdh/5/hadoop/hadoop-yarn/hadoop-yarn-site/YARN ...
淘宝Hadoop现有测试框架探幽
背景从使用hadoop的第一天开始,就一直没有离开过对Hadoop自身功能的开发以及hadoop本身bug的修复的相关开发.这样的开发模式已经持续了好几年,但是可以从中发现的一个现象:对于我们修复的 ...
pagerank算法c语言,在hadoop的map-reduce框架下实现经典的pagerank算法
编程环境: Ubuntu16.4 uklin Hadoop3.2.0 openjdk version "1.8.0_191" spark 2.3.0 ( 集群环境 ) 完整代码已经 ...

Hadoop的基本框架

Hadoop的基本框架相关推荐

最新文章

热门文章