最近同事们(包括李晓村、林舒)讨论vSAN能否支持大数据应用,受到一些启发,结合vSAN的一些用户案例,以及两年前曾做过的一次分享,整合如下。

先总结一下:vSAN能支持大数据应用。性价比好不好,要看用户的痛点或刚需。

首先,我得到的教训是,不要自我设限。用户的需求是复杂多样的,很多时候,如果能细心地和用户探讨需求,很可能找到你意想不到的vSAN的优势,刚好能解决用户的某个痛点。也有些时候,用户会比厂商更清楚技术的适用场景。比如,有一个将SAP关键应用运行在vSAN上的用户,他选择vSAN作为其存储的若干原因中,有一条是因为找不到新的物理服务器能支持老版本的操作系统了,此时选择虚拟化vSphere就顺理成章了,在POC测试中,又发现vSAN让性能提升了几十倍。

下图是我们在介绍vSAN优势时的总结:七个字 - “三高两低一自动”。当然vSAN可能不仅仅是只有这6个优势。

不是所有的用户都关心高性能,或者关心低成本,或者自动化等等,但如果细心地去了解用户的真实需求,我们或许能从六大优势,或者其他你能想到的一个或者多个优势去应对。如果都没有,那就需要去寻找其他用户了。

其次,能否支持大数据应用,要看用户如何界定什么是大数据应用。最近5、6年来,有些可能原本是BI,甚至就是一个信息化系统的项目,也可能立项为大数据的应用。

下面我们从技术的角度来剖析vSAN是否适合跑大数据应用。

提到大数据,大多数朋友首先想到Hadoop。我们先来看一下Hadoop可否跑到vSAN上?

原来我曾是坚定的反对者,理由至少有两条:

一是Hadoop有三份副本(也即总共三份数据),vSAN默认FTT=1有两份副本(也即总共两份数据)。存储利用率仅有六分之一,太低。需要注意的是,当前如果需要确保任何一个物理服务器宕机,数据还能继续访问的话,vSAN的FTT至少是1(也即两份数据)。

如果FTT=0,也即vmdk在vSAN里只是一份数据的话,还是有很小的几率(小,但是会有)出现,Hadoop虚机的三份副本存放在一台主机上(如下图的主机2),这样一旦主机2宕机,数据就不能持续访问了。如果主机2的物理盘除了故障,也有可能导致数据的丢失。

二是Hadoop本身有分布式文件系统HDFS,vSAN再多一层分布式系统vSANFS。IO路径长,延迟更长。

不过,我们惊讶的发现,不只是国外,国内我们也有少量的用户,将Hadoop运行在vSAN上。原因是:标准化购买和运维,并利用虚拟化资源池实现弹性伸缩。例如,当用户如果有需要启停某个Hadoop节点,或者增减Hadoop节点时,在虚拟化资源池上就简单方便很多。

另外,Hadoop是一个庞大的集合,除了HDFS之外,还有其他很多组件。例如Map Reduce。好了,现在如果用户将MapReduce,或者其他除了HDFS以外的组件运行在vSAN上,这样算不算vSAN支持大数据应用呢? 我觉得,应该算。

前面提到,有些项目可能是BI(商务智能),甚至只是一个简单的三层应用,例如:

教育行业 :  选课系统、科研管理系统、校园一卡通等; 公安行业:警务综合、指挥调度;财政:电子支付、税务生产系统;

消防行业:接警、监督、管理、服务;

大多数行业:OA、财务管理、人力资源管理、客户关系管理

但是他们是按照大数据项目立项的,在这种情况下vSAN当然更适合了。

下图简单列出了一些判断的条件。我们并不积极鼓励用户将HDFS运行在vSAN上,但如果用户觉得确实需要标准化采购和运维,并利用虚拟化资源池实现弹性伸缩的话,也未尝不可。

而且,在不是很远的将来,vSAN也许会考虑将Hadoop的vmdk锁定在和Hadoop的虚机为同一台物理服务器上。这样就可以设置FTT=0,存储利用率从1/6提高到1/3,并且性能也会有所提升。

---End---

想要了解更多vSAN,可以打开如下链接:

VMware SDS 之一 : 什么是VSAN

VMware SDS 之二 : VSAN用在哪?

VMware SDS 之三 : VSAN的体系结构 (含VSAN 6.0、6.1版的新内容)

VMware SDS 之四: VSAN的技术细节 (含VSAN 6.0、6.1版的新内容)

VMware刚公布第四代VSAN - 超融合软件VSAN 6.2新增了哪九大特性? (VMware SDS之五)

VMware SDS之六:  怎么玩VSAN ?

VMware SDS之七: 谁在用VSAN ?

欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。


关注后,可以通过点击左下角的文章目录,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。


点击左下角“阅读原文”,可以看到《SAP HANA跑在全闪存VSAN上?性能如何呢?》

vSAN支持大数据应用吗?相关推荐

  1. 支持大数据渲染下拉列表组件开发 SuperSelect(基于antd Select)

    功能简介 antd 的 Select 组件不支持大数据量的下拉列表渲染,下拉列表数量太多会出现性能问题, SuperSelect 基于 antd 封装实现,替换原组件下拉列表,只渲染几十条列表数据,随 ...

  2. 如何让热点图支持大数据

    转自fu*k原文如何让热点图支持大数据 所谓的热点图,是图1)构建一张灰度图,图2)在每个热点的位置上绘制并叠加形成灰色的热点图,图3)根据颜色表生成热点图.不难看出,最核心的是图2的过程.详情参考& ...

  3. Windows Server AppFabric Caching支持大数据量的配置

    Memcache支持的数据量大小为1M,最新版本可以通过配置调整突破1M(参看http://www.cnblogs.com/shanyou/archive/2010/02/01/1661271.htm ...

  4. Java 实现Dbhelper 支持大数据增删改

    引言 在做项目的时候,技术选型很重要,在底层的方法直接影响了我们对大数据访问以及修改的速度,在Java中有很多优秀的ORM框架,比如说:JPA,Hibernate 等等,正如我们所说的,框架有框架的好 ...

  5. NLPIR语义智能平台支持大数据个性化学习

    随着计算机技术的革新,互联网新媒体的快速发展,人们的生活已经进入高速信息时代.我们每天的生活都要产生大量数据,因此我们获取数据的速度和规模不断增长,大量数据不断的被存入存储介质中形成海量数据. 数据挖 ...

  6. 大众汽车CEO:支持汽车大数据 反对数据独裁者

    据美国<福布斯>杂志网站3月9日报道,德国汉诺威CeBIT信息及通信技术博览会召开前夕,大众汽车CEO马丁 文德恩(Martin Winterkorn)表示支持汽车大数据,呼吁汽车制造商与 ...

  7. 胡小明:大数据应用方向思考

    一.警惕大数据过热 1.1 过热产生盲目性 国内大数据的宣传早已过热,很多区县级政府也在考虑成立大数据局,政府对大数据热几乎没有抵抗力,企业没有紧跟就对了,在大数据高潮中反省政府的大数据行为.冷静一下 ...

  8. 顶尖技术专家严选,15场前沿论坛思辨,2019中国大数据技术大会邀您共赴

    扫码了解2019中国大数据技术大会(https://t.csdnimg.cn/IaHb)更多详情. 2019中国大数据技术大会(BDTC 2019)将于12月5日-7日在北京长城饭店举办,本届大会将聚 ...

  9. 大数据虚拟化:VMware正在虚拟化Hadoop

    VMware发布了在vSphere上对Hadoop部署进行管控的插件,给企业在大数据平台上带来更加便捷的操作. VMware今天发布了 vSphere 大数据插件BDE (Big Data Exten ...

最新文章

  1. 张海腾:语音识别实践教程
  2. iOS tabBarController 初始化就执行了 viewDidLoad
  3. 工作是属于公司的,而职业生涯却是属于你自己的
  4. 02_Android写xml文件和读xml文件
  5. 不用第三方插件如何统计自己wordpress的访问量
  6. linux 创建内核线程
  7. 双十一京东PLUS会员 VS 阿里88VIP,谁的羊毛多?
  8. 第三篇:DAMA数据管理知识体系
  9. 图像分割(多分类)将mask变为one hot label
  10. 风铃魔兽世界同步器(5开10开N开)V3.1免费共享版
  11. 平板电脑开机出现android,平板电脑常见故障解决方法
  12. 4-adjacent
  13. 树莓派外接扩展板的的测试
  14. Interpro 安装问题
  15. android加载网页pdf,android 一行代码搞定加载网络 pdf 文件
  16. 浏览器内核之渲染基础
  17. 酷开系统这些隐藏功能你用过几个?
  18. 女神节快乐!Apache Pulsar 愿大家拥抱机遇、享受开源
  19. 愚人节 之强迫症描述
  20. SparkConf的练习题

热门文章

  1. 强烈推荐!2018最受欢迎的8款产品原型工具
  2. 二手房 房产 交易税 相关问题 总结
  3. 解决微信小程序开发者工具报错(https://....com不在以下合法域名列表中请参考文档)
  4. oracle @spool,Oracle Spool详解
  5. python函数笔记_python笔记之函数
  6. PHP 开源CMS 寻找EXP 基本知识入门
  7. 比羊了个羊更时间刺客的,原来是它?
  8. 快播创始人王欣狱中书信曝光:担心与社会脱节 最大收获是看书
  9. 将MinGW64注入右键菜单
  10. 重庆邮电大学和重庆大学计算机学院,重庆邮电大学,能否成为重庆第三所双一流高校?...