vSAN支持大数据应用吗?
最近同事们(包括李晓村、林舒)讨论vSAN能否支持大数据应用,受到一些启发,结合vSAN的一些用户案例,以及两年前曾做过的一次分享,整合如下。
先总结一下:vSAN能支持大数据应用。性价比好不好,要看用户的痛点或刚需。
首先,我得到的教训是,不要自我设限。用户的需求是复杂多样的,很多时候,如果能细心地和用户探讨需求,很可能找到你意想不到的vSAN的优势,刚好能解决用户的某个痛点。也有些时候,用户会比厂商更清楚技术的适用场景。比如,有一个将SAP关键应用运行在vSAN上的用户,他选择vSAN作为其存储的若干原因中,有一条是因为找不到新的物理服务器能支持老版本的操作系统了,此时选择虚拟化vSphere就顺理成章了,在POC测试中,又发现vSAN让性能提升了几十倍。
下图是我们在介绍vSAN优势时的总结:七个字 - “三高两低一自动”。当然vSAN可能不仅仅是只有这6个优势。
不是所有的用户都关心高性能,或者关心低成本,或者自动化等等,但如果细心地去了解用户的真实需求,我们或许能从六大优势,或者其他你能想到的一个或者多个优势去应对。如果都没有,那就需要去寻找其他用户了。
其次,能否支持大数据应用,要看用户如何界定什么是大数据应用。最近5、6年来,有些可能原本是BI,甚至就是一个信息化系统的项目,也可能立项为大数据的应用。
下面我们从技术的角度来剖析vSAN是否适合跑大数据应用。
提到大数据,大多数朋友首先想到Hadoop。我们先来看一下Hadoop可否跑到vSAN上?
原来我曾是坚定的反对者,理由至少有两条:
一是Hadoop有三份副本(也即总共三份数据),vSAN默认FTT=1有两份副本(也即总共两份数据)。存储利用率仅有六分之一,太低。需要注意的是,当前如果需要确保任何一个物理服务器宕机,数据还能继续访问的话,vSAN的FTT至少是1(也即两份数据)。
如果FTT=0,也即vmdk在vSAN里只是一份数据的话,还是有很小的几率(小,但是会有)出现,Hadoop虚机的三份副本存放在一台主机上(如下图的主机2),这样一旦主机2宕机,数据就不能持续访问了。如果主机2的物理盘除了故障,也有可能导致数据的丢失。
二是Hadoop本身有分布式文件系统HDFS,vSAN再多一层分布式系统vSANFS。IO路径长,延迟更长。
不过,我们惊讶的发现,不只是国外,国内我们也有少量的用户,将Hadoop运行在vSAN上。原因是:标准化购买和运维,并利用虚拟化资源池实现弹性伸缩。例如,当用户如果有需要启停某个Hadoop节点,或者增减Hadoop节点时,在虚拟化资源池上就简单方便很多。
另外,Hadoop是一个庞大的集合,除了HDFS之外,还有其他很多组件。例如Map Reduce。好了,现在如果用户将MapReduce,或者其他除了HDFS以外的组件运行在vSAN上,这样算不算vSAN支持大数据应用呢? 我觉得,应该算。
前面提到,有些项目可能是BI(商务智能),甚至只是一个简单的三层应用,例如:
教育行业 : 选课系统、科研管理系统、校园一卡通等; 公安行业:警务综合、指挥调度;财政:电子支付、税务生产系统;
消防行业:接警、监督、管理、服务;
大多数行业:OA、财务管理、人力资源管理、客户关系管理
但是他们是按照大数据项目立项的,在这种情况下vSAN当然更适合了。
下图简单列出了一些判断的条件。我们并不积极鼓励用户将HDFS运行在vSAN上,但如果用户觉得确实需要标准化采购和运维,并利用虚拟化资源池实现弹性伸缩的话,也未尝不可。
而且,在不是很远的将来,vSAN也许会考虑将Hadoop的vmdk锁定在和Hadoop的虚机为同一台物理服务器上。这样就可以设置FTT=0,存储利用率从1/6提高到1/3,并且性能也会有所提升。
---End---
想要了解更多vSAN,可以打开如下链接:
VMware SDS 之一 : 什么是VSAN
VMware SDS 之二 : VSAN用在哪?
VMware SDS 之三 : VSAN的体系结构 (含VSAN 6.0、6.1版的新内容)
VMware SDS 之四: VSAN的技术细节 (含VSAN 6.0、6.1版的新内容)
VMware刚公布第四代VSAN - 超融合软件VSAN 6.2新增了哪九大特性? (VMware SDS之五)
VMware SDS之六: 怎么玩VSAN ?
VMware SDS之七: 谁在用VSAN ?
欢迎您通过扫描关注微信公众号:“乐生活与爱IT”。
关注后,可以通过点击左下角的“文章目录”,通过输入三位数(记住!是三位数,目前第一位是0或者1)详细了解如何查看历史文章。
点击左下角“阅读原文”,可以看到《SAP HANA跑在全闪存VSAN上?性能如何呢?》
vSAN支持大数据应用吗?相关推荐
- 支持大数据渲染下拉列表组件开发 SuperSelect(基于antd Select)
功能简介 antd 的 Select 组件不支持大数据量的下拉列表渲染,下拉列表数量太多会出现性能问题, SuperSelect 基于 antd 封装实现,替换原组件下拉列表,只渲染几十条列表数据,随 ...
- 如何让热点图支持大数据
转自fu*k原文如何让热点图支持大数据 所谓的热点图,是图1)构建一张灰度图,图2)在每个热点的位置上绘制并叠加形成灰色的热点图,图3)根据颜色表生成热点图.不难看出,最核心的是图2的过程.详情参考& ...
- Windows Server AppFabric Caching支持大数据量的配置
Memcache支持的数据量大小为1M,最新版本可以通过配置调整突破1M(参看http://www.cnblogs.com/shanyou/archive/2010/02/01/1661271.htm ...
- Java 实现Dbhelper 支持大数据增删改
引言 在做项目的时候,技术选型很重要,在底层的方法直接影响了我们对大数据访问以及修改的速度,在Java中有很多优秀的ORM框架,比如说:JPA,Hibernate 等等,正如我们所说的,框架有框架的好 ...
- NLPIR语义智能平台支持大数据个性化学习
随着计算机技术的革新,互联网新媒体的快速发展,人们的生活已经进入高速信息时代.我们每天的生活都要产生大量数据,因此我们获取数据的速度和规模不断增长,大量数据不断的被存入存储介质中形成海量数据. 数据挖 ...
- 大众汽车CEO:支持汽车大数据 反对数据独裁者
据美国<福布斯>杂志网站3月9日报道,德国汉诺威CeBIT信息及通信技术博览会召开前夕,大众汽车CEO马丁 文德恩(Martin Winterkorn)表示支持汽车大数据,呼吁汽车制造商与 ...
- 胡小明:大数据应用方向思考
一.警惕大数据过热 1.1 过热产生盲目性 国内大数据的宣传早已过热,很多区县级政府也在考虑成立大数据局,政府对大数据热几乎没有抵抗力,企业没有紧跟就对了,在大数据高潮中反省政府的大数据行为.冷静一下 ...
- 顶尖技术专家严选,15场前沿论坛思辨,2019中国大数据技术大会邀您共赴
扫码了解2019中国大数据技术大会(https://t.csdnimg.cn/IaHb)更多详情. 2019中国大数据技术大会(BDTC 2019)将于12月5日-7日在北京长城饭店举办,本届大会将聚 ...
- 大数据虚拟化:VMware正在虚拟化Hadoop
VMware发布了在vSphere上对Hadoop部署进行管控的插件,给企业在大数据平台上带来更加便捷的操作. VMware今天发布了 vSphere 大数据插件BDE (Big Data Exten ...
最新文章
- 张海腾:语音识别实践教程
- iOS tabBarController 初始化就执行了 viewDidLoad
- 工作是属于公司的,而职业生涯却是属于你自己的
- 02_Android写xml文件和读xml文件
- 不用第三方插件如何统计自己wordpress的访问量
- linux 创建内核线程
- 双十一京东PLUS会员 VS 阿里88VIP,谁的羊毛多?
- 第三篇:DAMA数据管理知识体系
- 图像分割(多分类)将mask变为one hot label
- 风铃魔兽世界同步器(5开10开N开)V3.1免费共享版
- 平板电脑开机出现android,平板电脑常见故障解决方法
- 4-adjacent
- 树莓派外接扩展板的的测试
- Interpro 安装问题
- android加载网页pdf,android 一行代码搞定加载网络 pdf 文件
- 浏览器内核之渲染基础
- 酷开系统这些隐藏功能你用过几个?
- 女神节快乐!Apache Pulsar 愿大家拥抱机遇、享受开源
- 愚人节 之强迫症描述
- SparkConf的练习题
热门文章
- 强烈推荐!2018最受欢迎的8款产品原型工具
- 二手房 房产 交易税 相关问题 总结
- 解决微信小程序开发者工具报错(https://....com不在以下合法域名列表中请参考文档)
- oracle @spool,Oracle Spool详解
- python函数笔记_python笔记之函数
- PHP 开源CMS 寻找EXP 基本知识入门
- 比羊了个羊更时间刺客的,原来是它?
- 快播创始人王欣狱中书信曝光:担心与社会脱节 最大收获是看书
- 将MinGW64注入右键菜单
- 重庆邮电大学和重庆大学计算机学院,重庆邮电大学,能否成为重庆第三所双一流高校?...