看完阿里云的haddop云梯集群设计思路有感

上次去hadoop大会，听了互联网的专场，对于阿里的云梯这个主题颇有些印象，但是由于对hadoop纯属概念党，所以听的也不是太懂，今天在网上查了下这个云梯，其实网关于这个上面的还是挺多的，所以特别看了下：

背景：阿里的云梯集群是承载了阿里巴巴过去五年来的集团及其子公司（淘宝、天猫、一淘、B2B等）业务的绝大部分业务数据基础平台，经历了近5年数据量的增长，服务器也不断的增长，从300到1000…直到现在的5000的倍数，好庞大的数据处理平台规模呀，表示很羡慕。关键是数据上升直接代表了他们的业务量和用户数是不断增长的。想想也是这么多服务器，机房规划估计早期也没想那么多，即便是hadoop可以无限制的水平扩展，但是机房会有无限大的空间么，这就提出问题了，这个云梯集群机器太多了，数据量大了，业务查询肯定也慢了，hadoop的优势就是分布式集群计算，所以就得继续扩充机器，那么还得规划一个新机房，进而想想做个hadoop的跨机房的集群，那么问题就来了，从hadoop的架构上来说：

Hadoop的namenode的节点本身只有一个，也就是单点的，无论你Datanode怎么扩展，但是这Namenode节点存储元数据信息，存储容量网络带宽，CPU内存等在一台主机上都是有极限的，那么扩了机房，你也得扩充namenode节点，当前不支持，如何让其支持，就得从技术层面解决。另外刚才提到机房间还有带宽问题，不过十有八九机房是不同一大楼，所以就得有个城域网概念了，直接拉光纤吧，呵呵，这个是我自己个人觉得，也不知道人家怎么解决的。

难点3.跨两个机房的hadoop集群数据怎么分布呢，如果说上面单namenode问题解决了，下面网络带宽问题解决了，接下来这个也很关键，应该得考虑从应用层面切割，应该是纵向切割吧，一个机房内的主机数据通信总比跨机房快吧，但是毕竟一个集群呀，分布式运算嘛，计算调度怎么跨机房呢，这个也是个问题。

好吧，上面的问题都解决了，那么以后如何升级维护呀，是软件总有这样那样的BUG，再说hadoop软件在不停的更新，好多新功能在新的开源版本上，这么大个集群升级管理起来真的是个大问题呀，只能说牛逼的不得了，这些问题都想通了，那么这些真的可以实现吗，理论上可行但是实际不一定可行哦，所以实践是检验真理的唯一标准。

看完这一切真的很佩服得阿里人的勇气和敢于行动的这帮技术人，尤其是上层给了他们IT部门的支持力度也够大的，都说电商企业其实是一个技术公司，这点看来确实是，阿里巴巴的技术人应该非常自豪，他们在技术架构业务应用实际已经走到了前列，当现在大部分公司都炒作haddop大数据时，其实他们已经玩的很熟练了，真是祖国的骄傲呀。

转载于:https://blog.51cto.com/marvelyu/1333425

看完阿里云的haddop云梯集群设计思路有感相关推荐

阿里云ESC搭建hadoop集群
阿里云ESC搭建hadoop集群前置购买至少三台服务器,为了节约成本借了两个账号买了三台同一区域的服务器,安装的是 centos7:因此设计到不同账号相同地域之间通讯问题,阿里给了解决方案,详情参 ...
阿里云超算异构Spot集群，助力深势科技30%成本驱动MDaaS海量算力
本文主要介绍药物研发算法科技公司深势科技是如何实现低成本在阿里云上构建分子模拟MDaaS (Molecular Dynamics as a Service)超算集群. 客户简介公司名称:深势科技公 ...
Docker——阿里云搭建Docker Swarm集群
阿里云搭建Docker Swarm集群 Docker Swarm概念环境部署 Swarm集群搭建安装Docker 配置阿里云镜像加速搭建集群 Raft一致性算法 Swarm集群弹性创建服务(扩缩 ...
基于阿里云服务器搭建hadoop集群：HDFS的namenode WEB访问9870端口打不开解决方法
基于阿里云服务器搭建hadoop集群:HDFS的namenode WEB访问9870端口打不开解决方法以下是基于我所面临问题的解决办法. 1.在本地的c:windows/system32/dirve ...
通过阿里云ecs部署k8s集群
通过阿里云ecs部署k8s集群 1. 搭建环境 2. 安装步骤禁用Selinux Restart Docker 此处仅有两台服务器,一台master节点,一台node节点,后期可按照步骤继续增加no ...
阿里云上万个 Kubernetes 集群大规模管理实践
点击下载<不一样的双11 技术:阿里巴巴经济体云原生实践> 本文节选自<不一样的双11 技术:阿里巴巴经济体云原生实践>一书,点击上方图片即可下载! 作者 | 汤志敏,阿里 ...
使用三台阿里云服务器搭建Hadoop集群（云计算实验踩坑集锦）
使用阿里云服务器搭建这个hadoop集群,踩得坑人已经傻了,浪费了我快一周的时间. 1.准备环节准备三台阿里云服务器 Namenode 121.196.224.191 Datanode1 121.1 ...
独家揭秘阿里云SQL Server AlwaysOn集群版重大突破
缘起早在2015年的时候,随着阿里云业务突飞猛进的发展,SQLServer业务也积累了大批忠实客户,其中一些体量较大的客户在类似大促的业务高峰时RDS的单机规格(规格是按照内存CPUIOPS 一定 ...
从零搭建阿里云托管版k8s集群-容器日志采集（八）
相信很多人都知道可以自己搭建elk来方便的收集日志,查询日志.虽然搭建elk并不是十分复杂,可对于一般的开发人员来说,尤其是对linux操作不是很熟练的人,是一项相当有难度的工程.所幸现在阿里云已经为 ...

看完阿里云的haddop云梯集群设计思路有感

看完阿里云的haddop云梯集群设计思路有感相关推荐

最新文章

热门文章