当行业排名前两位的企业选择合并，往往意味着垄断巨头的出现和某种模式下市场竞争的告一段落。

不久前，Cloudera和Hortonworks的宣布合并，让大数据领域的竞争也变得扑朔迷离。两家上市公司为什么要合并？对Hadoop这又意味着什么？都是值得思考的问题。

Hadoop的商业化

Hadoop几乎可以算作大数据的代名词，随着开源技术的被广泛使用，Hadoop已经成为事实上的大数据标准。十几年前，企业数据还普遍是在数据仓库中处理，使用Oracle、SAP、IBM等数据相关软件，但随着互联网的发展，数据类型的多样化，对海量结构化、半结构化数据以及流式数据的处理需求，都成为了旧式商业软件的瓶颈。

2003年，Google Lab开发了Map/Reduce 和 Google File System(GFS)，在两年后的秋天，Hadoop由 Apache Software Foundation 公司作为Lucene的子项目Nutch的一部分正式引入。这一能够对大量数据进行分布式处理的软件框架正式出现，给大数据软件市场带来了新的机会。2006 年 3 月，Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入Hadoop 的项目中。

对于数量巨大但单条数据价值较低的数据类型，比如舆情数据，在传统的数据仓库中进行分析的性价比较低，远不如在基于Hadoop的平台上更能体现价值。因此在互联网领域，Hadoop得到了普遍的应用，比如Facebook、百度、雅虎，都使用Hadoop技术进行数据处理等工作。作为一项开源技术，虽然可以免费下载，但Hadoop本身却很复杂，对许多有大数据处理需求的公司来说，让IT部门基于Hadoop进行开发的成本太高，难度也太大。因此，如Cloudera和Hortonworks这样的创业公司出现了。

Cloudera成立于2008年，在2009年，Cloudera发行了第一个Hadoop集成版本——CDH。CDH产品包括企业版和开源版，在企业版中，包含管理组件Cloudera Manager，这个组件是闭源的，可以对计算机集群进行管理、部署、升级，监控，提供包括数据管理、数据追溯、安全性保障和多云架构管理等功能，在3个月的试用期后，需按照部署节点的数目按月交费，这也是Cloudera的主要盈利模式。

而Hortonworks是从雅虎Hadoop团队剥离成立的创业公司，不同于Cloudera，Hortonworks的软件是完全开源的，通过技术支持来盈利。另外还有一家MapR，这三家公司也常被称作是Hadoop的三大发行商。

将开源软件商业化的价值在哪里？Cloudera大中华区的技术总监刘隶放曾对此解释：“开源并不意味着免费”。对一些技术实力相对较弱的企业，如金融、电信、制造业等行业，将带来大量的IT开发成本。在这个过程中，由于软件被不断发现BUG，以及需要针对企业情况去修改和打补丁，每当开源项目向下一个版本跃进时，所有的补丁都要在新版本上进行验证，会带来非常大的工程化难题，造成积重难返甚至无法更新只能停在旧版本上的窘迫——而有的开发误判了开源项目的生命周期，甚至会出现开源项目中止的尴尬。

而除了促进Hadoop的易用化之外，Cloudera和Hortonworks的价值还体现在版本演进中，尤其是Cloudera，CDH版本中26个项目有18个是由Cloudera发起或研发的，占据了商业版平台的50%，在下载平台上，甚至超过了60%，是主流的开源版本。这意味着Cloudera在开源社区里有足够的话语权，让产品受益于开源社区的创新力而又不会失去控制。

也因为如此，市场对Cloudera以及紧随其后的Hortonworks都报以期待，2014年Hortonworks成功上市，而同年Cloudera则获得了来自英特尔7.4亿美元的投资，估值高达41亿美元，成为大数据公司中最耀眼的独角兽。

合并前后

对于这一轮技术革命带来的商业演进，我们习惯称之为“ABC”时代，然后相对于A（人工智能）和C（云计算），前者涌现了大量的独角兽企业，并在应用上呈现了遍地开花的景象，后者已经实际上出现了诸如亚马逊等的云计算巨头。而以Cloudera等为代表的大数据公司，却显得有些乏力。

无论是Cloudera还是Hortonworks，都处于持续的亏损之中，盈利水平的不足体现在其财报和股价上。Hortonworks上市之初股价曾一度接近30美元，但之后一直在15美元下的地点徘徊；而Cloudera提交IPO申请时的估值和3年前接受英特尔投资时的估值一样都是41亿美元，今年上半年时，由于对2019年收入的预测低于市场预期，其股价一度下跌超过28%，目前市值18.62亿美元。

造成这一现象的原因很多，首先是Cloudera与Hortonworks等公司的竞争，但竞争并不局限于Hadoop领域。比起Hortonworks和MapR，处于领头位置的Cloudera更希望与Oracle、SAP等软件公司对比。但开源软件的商用化，意味着需要在研发上投入大量的成本，以满足大型企业的需要，而在实际销售中，由于大企业对稳定性、业务连续性等的考虑，对比传统企业软件并不一定会占到优势。

另一方面，是来自云计算公司的跨界挑战。云计算的发展将越来越多的企业囊括其中，并催生了亚马逊AWS等巨头，而他们本身也会提供托管的Hadoop/Spark服务，如AWS的Elastic Map Reduce(EMR)，不仅集成在云平台内部而且成本也更低。而对象存储服务，如AWS S3，Azure Blob存储和Google云端存储，从成本上来说，也低于Hadoop的存储成本。

在2017年的一次采访中，Cloudera零售、制造及物联网行业的行业专家Dave Shuman曾表示，Cloudera与云计算公司并非竞争关系，而是合作伙伴关系，重视数据资产的大型企业依旧需要Cloudera的产品。

与此同时，Cloudera也一直致力于向云计算转型，目前在公有云领域，Cloudera已经可以在AWS等云平台上做到存储对象分离；在私有云领域，也可以支持基于OpenStack和VMvare的私有云平台，以及混合云的部署。

然而来自云计算公司的竞争压力依旧客观存在，实际上，今年8月份数据库制造商 Redis Labs 将开发的Redis 模块的开源协议的授权方式变更，矛头便指向了借助开源获利的云计算公司。

在今年的10月初，Cloudera和Hortoworks宣布全股票对等合并，其中Cloudera的股东拥有60%股权，Hortonworks的股东拥有40%的股权。在Hadoop的领域，这意味着“强强联手”，而在大数据领域，则更像是“抱团取暖”。但毫无疑问，这至少可以帮助两家企业结束近十年的竞争，并且依靠垄断地位早日摆脱长期亏损的窘状。受此消息影响，两家公司都随后大涨，据2018年10月2日收盘价计算，两家公司的总股价达为52亿美元。

合并后的两家公司拥有超过2500名客户，年收入将达到7.2亿美元，降低1.25亿美元成本，并有超过5亿美元的现金。在技术上，两家公司也可以进行互补，不过由于双方存在很多重合的业务，意味着将在组织架构和产品结构上进行整合（主要是Cloudera的CDH和Hortonworks的HDP两条产品线的合并问题），不过他们也承诺，在3年内会继续提供两家公司的服务，考虑到Cloudera的产品订期为1年和3年，这基本可以保证用户的权益。而新的公司也会在发布新的统一版本的产品。

目前有关合并的细节还有许多在挑战中，不过原Cloudera的CEO Thomas Reilly，也是新公司的CEO对此十分看好，表示新的公司将成为行业领导者，为客户提供更好的平台，创建世界首个企业数据云，并将在云计算、物联网和容器技术等领域继续发力。

而从第三方的角度来看，这无疑会影响整个Hadoop的生态，开源大数据目前已经成为互联网企业的基础设施，两家公司合并后，意味着Hadoop的标准将更加统一，长期来看新公司的盈利能力也将大幅提升，并将更多的资源用于新技术的投入。

对此，“三驾马车”中的MapR曾表示“两个错误也不会导致一个正确”，但从体量和级别上来看，新公司将基本代表Hadoop社区，其他同类型企业将很难与之竞争。而新公司未来也可能会面对和云计算公司更直接的竞争，或者如Redhat一样被巨头收购，这些猜测都要等待新公司重组的进一步尘埃落定了。

//本文转自自：IT经理世界

新闻 | Hadoop开源技术领域的行业变局相关推荐

开源技术领域有哪些免费又好用的OA办公软件？最好是.NET平台
随着企业内部信息化管理的重要程度越来越高,国内OA协同办公产品近年来得以快速发展. 由于传统的OA产品很难做到免费或较低的价格,所以中小企业在花费较高费用购买了一套OA产品后,还将面临日常维护费用.员 ...
1024程序员节开源技术英雄会参会“英雄榜”发榜
10月23-25日,由CSDN等多家单位精心筹划的"长沙 · 中国1024程序员节"将盛大举行.程序员节活动以开源为主议题,包括2场岳麓尖峰对话:2020开源技术英雄大会:10+场 ...
1024 程序员节重要议程曝光，开源技术英雄会聊开源“真心话”
10 月 23-25 日,由 CSDN 等多家单位精心筹划的"长沙 · 中国 1024 程序员节"将盛大举行.程序员节活动以开源为主议题,包括:2场岳麓尖峰对话:2020 开源技术 ...
Linux基金会要“下田”了！开源技术在农业领域能做什么？
整理 | Carol 出品 | CSDN(ID:CSDNnews) 近日,Linux基金会宣布启动Agstack基金会.这是一个非盈利性质的基金会,主要针对全球农业生态系的开源数位基础设施专案. 未来 ...
CSDN《IT人才成长路线图》重磅开源！60+ 专家，13 个技术领域，绘出 35 张图谱...
2020 年即将过去,在这个技术不断变迁的世界里,我们经历了太多的浪潮和变革.然而,这个世界的运转,从未像现在一般,如此依赖程序员. 作为专业的 IT 社区,CSDN 也希望有更多人能够加入到程序员这 ...
CSDN《IT人才成长路线图》重磅开源！60+专家，13个技术领域，绘出35张图谱
CSDN<IT人才成长路线图>重磅开源!60+专家,13个技术领域,绘出35张图谱趣兜兜高校俱乐部今天 2020 年即将过去,在这个技术不断变迁的世界里,我们经历了太多的浪潮和变革. ...
【开源】《IT人才成长路线图》60+ 专家，13 个技术领域，35 张图谱
2020年已经过去,在这个技术不断变迁的世界里,我们经历了太多的浪潮和变革.然而,这个世界的运转,从未像现在一般,如此依赖程序员. 作为专业的 IT 社区,CSDN 也希望有更多人能够加入到程序员这一 ...
2021年中国VR/AR行业市场投融资现状分析：VR/AR技术领域融资实现双增长[图]
一.市场规模 5G商用加速到来,开启了VR/AR产业发展的新一轮热潮,推动VR.AR的应用范围从直播.游戏等消费娱乐领域,加速向工业.医疗.教育等垂直领域渗透,实现规模化发展.2020年中国VR/AR ...
2011 年 IT 行业十大热门技术领域
众所周知,IT领域的成功源自不断地与专业性紧密相连 - 但是哪方面的技术需求是最为迫切的呢?国外专家 Deb Shinder 一览整个IT专业,给出了他认为的2011年以后的IT业十大热门技术领域. ...

新闻 | Hadoop开源技术领域的行业变局

Hadoop的商业化

合并前后

新闻 | Hadoop开源技术领域的行业变局相关推荐

最新文章

热门文章