Apache 、CDH、TDH、HDP、MapR等Hadoop版本区别

一、简述

目前Hadoop的发行版除了Apache的开源版本之外，还有华为发行版、Intel发行版、Cloudera发行版(CDH)、Hortonworks发行版（HDP）、MapR等，所有这些发行版均是基于Apache Hadoop衍生出来的，因为Apache Hadoop的开源协议允许任何人对其进行修改并作为开源或者商业产品发布。国内大多数公司发行版是收费的，比如Intel发行版、华为发行版等。不收费的Hadoop版本主要有国外的四个，分别是Apache基金会hadoop、Cloudera版本（CDH）、Hortonworks版本（HDP）、MapR版本。

二、 Apache社区版本

Apache社区版本是原生的hadoop。

优点:

完全开源免费
社区活跃
文档、资料详实

缺点：

（1）复杂的版本管理。

版本管理比较混乱，各种版本层出不穷，让使用者不知所措。

（2）复杂的集群部署、安装、配置。

通常按照集群需要编写大量的配置文件，分发到每一台节点上，容易出错，效率低下。

（3）复杂的集群运维。

对集群的监控，运维，需要安装第三方的其他软件，如ganglia，nagois等，运维难度较大。

（4）复杂的生态环境。

在Hadoop生态圈中，组件的选择、使用，比如Hive，Mahout，Sqoop，Flume，Spark，Oozie等等，需要大量考虑兼容性的问题，版本是否兼容，组件是否有冲突，编译是否能通过等。经常会浪费大量的时间去编译组件，解决版本冲突问题。

三、第三方发行版

以下四种为具有代表性的第三方发行版：

1、Cloudera版本（CDH）

CDH版（Cloudera Hadoop）：最成型的发行版本，拥有最多的部署案例。提供强大的部署、管理和监控工具。Cloudera开发并贡献了可实时处理大数据的Impala项目。CDH有免费版和企业版，企业版只有试用期。

2、Hortonworks版本（HDP）

HDP版（Hortonworks Hadoop）区别于其他的Hadoop发行版(如Cloudera)的根本就在于，Hortonworks的产品均是百分之百开源。

Hortonworks是第一家使用了Apache HCatalog的元数据服务特性的提供商。并且，它们的Stinger开创性地极大地优化了Hive项目。Hortonworks为入门提供了一个非常好的，易于使用的沙盒。Hortonworks开发了很多增强特性并提交至核心主干，这使得Apache
Hadoop能够在包括Windows Server和Windows Azure在内的Microsft Windows平台上本地运行。

3、TDH（Transwarp Data Hub）

TranswarpInceptor是星环科技推出的用于数据仓库和交互式分析的大数据平台软件，它基于Hadoop和Spark技术平台打造，加上自主开发的创新功能组件，有效的解决了企业级大数据数据处理和分析的各种技术难题，帮助企业快速的构建和推广数据业务。从2016年起，TDH正式成为Gartner认可的Hadoop国际主流发行版本。

TDH是国内首个全面支持Spark的Hadoop发行版，也是国内落地案例最多的商业版本，是国内外领先的高性能平台，比开源基于Hadoop
MapReduce计算框架的版本快10x~100x倍。TDH应用范围覆盖各种规模和不同数据量的企业，通过内存计算、高效索引、执行优化和高度容错的技术，使得一个平台能够处理GB级到PB级的数据，并且在每个数量级上，都能比现有技术提供更快的性能；企业客户不再需要混合架构，TDH可以伴随企业客户的数据增长，动态不停机扩容，避免MPP或混合架构数据迁移的棘手问题。

Transwarp Data Hub由Apache Hadoop、6款核心产品、大数据开发工具集Studio、安全管控平台 Guardian和管理服务Manager构成

4、 MapR：

与竞争者相比，它使用了一些不同的概念，特别是为了获取更好的性能和易用性而支持本地Unix文件系统而不是HDFS（使用非开源的组件）。可以使用本地Unix命令来代替Hadoop命令。除此之外，MapR还凭借诸如快照、镜像或有状态的故障恢复之类的高可用性特性来与其他竞争者相区别。该公司也领导着Apache Drill项目，本项目是Google的Dremel的开源项目的重新实现，目的是在Hadoop数据上执行类似SQL的查询以提供实时处理。

5、EMR

Amazon Elastic Map Reduce（EMR）：区别于其他提供商的是，这是一个托管的解决方案，其运行在由Amazon Elastic Compute Cloud（Amazon EC2）和Amzon Simple Strorage Service（Amzon S3）组成的网络规模的基础设施之上。

除了Amazon的发行版本之外，你也可以在EMR上使用MapR。临时集群是主要的使用情形。如果你需要一次性的或不常见的大数据处理，EMR可能会为你节省大笔开支。然而，这也存在不利之处。其只包含了Hadoop生态系统中Pig和hive项目，在默认情况下不包含其他很多项目。并且，EMR是高度优化成与S3中的数据一起工作的，这种方式会有较高的延时并且不会定位位于你的计算节点上的数据。所以处于EMR上的文件IO相比于你自己的Hadoop集群或你的私有EC2集群来说会慢很多，并有更大的延时。

其它：Apache Ambari

Apache Ambari是一个基于web的工具，用于配置、管理和监视Apache Hadoop集群，支持Hadoop HDFS,、Hadoop MapReduce、Hive、HCatalog,、HBase、ZooKeeper、Oozie、Pig和Sqoop。Ambari同样还提供了集群状况仪表盘，比如heatmaps和查看MapReduce、Pig、Hive应用程序的能力，以友好的用户界面对它们的性能特性进行诊断。

优缺点

1.优点

（1）对于几种第三方版本，基于Apache协议，100%开源。
（2）版本管理清晰。比如Cloudera，CDH1，CDH2，CDH3，CDH4，CDH5等，后面加上补丁版本，如CDH4.1.0
patch level 923.142，表示在原生态Apache Hadoop 0.20.2基础上添加了1065个patch。
（3）比Apache
Hadoop在兼容性、安全性、稳定性上有增强。第三方发行版通常都经过了大量的测试验证，有众多部署实例，大量的运行到各种生产环境。
（4）版本更新快。通常情况，比如CDH每个季度会有一个update，每一年会有一个release。基于稳定版本Apache
Hadoop，并应用了最新Bug修复或Feature的patch
（5）提供了部署、安装、配置工具，大大提高了集群部署的效率，可以在几个小时内部署好集群。
（6）运维简单。提供了管理、监控、诊断、配置修改的工具，管理配置方便，定位问题快速、准确，使运维工作简单，有效。

缺点:

涉及到厂商锁定的问题。（可以通过技术解决）

总结：

综上所述，考虑到大数据平台高效的部署和安装，中心化的配置管理，使用过程中的稳定性、兼容性、扩展性，以及未来较为简单、高效的运维，遇到问题低廉的解决成本。建议使用第三方发行版本。其中在第三发发行版中，国内应用较多的是Cloudera的CDH。