摘要：大数据的浪潮有多迅猛？IDC在2006年估计全世界产生的数据量是0.18ZB（1ZB=100万PB），而今年这个数字已经提升了一个数量级，达到1.8ZB，差不多对应全世界每个人一块100多GB的硬盘。这种增长还在加速，预计2015年将达到近8ZB。就目前来看，大数据处理正面临三大瓶颈大容量、多格式和速度，而与之对应的解决...
大数据的浪潮有多迅猛？IDC在2006年估计全世界产生的数据量是0.18ZB（1ZB=100万PB），而今年这个数字已经提升了一个数量级，达到1.8ZB，差不多对应全世界每个人一块100多GB的硬盘。这种增长还在加速，预计2015年将达到近8ZB。就目前来看，大数据处理正面临三大瓶颈——大容量、多格式和速度，而与之对应的解决方案也被提出，那就是扩展性、开放性和下一代存储技术。
容量——高扩展性
数据正从TB级扩展到PB级甚至EB级，人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战，数据的存储和安全以及在未来访问和使用这些数据已成为难点。
那么，未来的系统架构应当是怎样的呢？传统系统架构，无论是较早的Monolithic还是现在的Modular架构，都基于Scale-up设计，这种传统模式不可避免的让存储系统会遇到性能瓶颈问题，存储系统必然会出现性能拐点。加上现在的信息环境决定了用户数据量处于一个快速增加的状态，用户对功能和扩展性方面的需求愈加强烈。传统存储架构物理组件和逻辑约束等方面有其上限(比如磁盘数量、服务器数量、缓存大小、控制器数目等)，决定了Scale-UP架构有其巨大的局限性。
因此，面对大数据，具备高扩展性的Scale out架构已是必然的需求，越来越多的企业都开始采用开放架构，并用Scale—out储存加VM on x86环境实现服务器整合。
目前EMC已经把经营了多年的传统高端Symmetrix DMX系列的核心软件迁移到了开放式硬件平台上，CPU从PowerPC变成了Intel x86，并推出了新一代Scale-Out高端存储系统Symmetrix V-Max；HDS也将其传统高端存储USP V也迁移到了开放硬件平台，变身成了VSP存储系统。这也说明Scale-Out架构将在未来存储系统中扮演着越来越重要的角色。
多格式——开放性
大数据包括了越来越多不同格式的数据，这些不同格式的数据也需要不同的处理方法。从简单的电子邮件、数据日志和信用卡记录，再到仪器收集到的科学研究数据、医疗数据、财务数据以及丰富的媒体数据（包括照片、音乐、视频等）。
对系统架构而言，处理不同的数据需要不同的软件，此外，如果将系统锁定在某个厂家上面，会给后续的扩容带来很大的困难。
事实上，现在无论在服务器还是存储方面，采用传统的RISC架构的产品都无法具备良好的扩展性，而像X86服务器、集群NAS、集群存储产品都具有高度的可扩展性，能够很好的满足私有云对扩展空间的弹性需求。比如说，EMC、VMware、Cisco联合推出的Vblock产品，就能够帮组用户实现灵活多变的弹性需求。因此，弹性化用户实现按需添加或减少IT资源、架构灵活多变的私有云环境的一个重要标志。
而在生态链的营造上，开放架构的优势进一步体现出来，在基于开放的X86架构上用各种开源软件构件未来的大数据处理架构已经成为架构师们得共识，由于x86平台的开放性和庞大成熟的软件生态圈，因此基于英特尔的X86服务器所具备的平台优势和潜力将超过以往任何一款平台。这也是现在各种开源软件比如Hadoop、MongoDB、Redis、Xen等如此受到系统架构师欢迎的原因。
速度——下一代的存储技术
这个速度主要是指数据从端点移动到处理器和存储的速度，当企业开始越来越多地运用虚拟化在大数据架构中后，运算密度会大幅提升，系统I/O的负担就会越来越重，而SSD硬盘则成为解决这个问题的一个新方法。
实际上，服务器搭配SSD硬盘不足为奇，Intel、EMC、 NetApp等厂商正在研发的服务器I/O加速技术，可说是把分层存储架构更进一步推至服务器端，把存储设备的快取放到服务器里，并且使其成为存储设备可管理的一部分，如此让存储设备的快取能更接近处理器运算核心，以获得整体能效的提升。
当然，可擦写次数一直是SSD盘的硬伤，不过对此已经有很多技术实现来解决这一问题，以英特尔HET系列为例，其融合了NAND闪存在芯片上的改进和独一无二的固态硬盘NAND管理技术，可延长基于MLC的固态硬盘的写入耐用性。由英特尔开发的固件、控制器和高循环NAND组成的盘阵足应对24/7全天候数据中心或科学、金融以及其它高密度使用模式中的繁重数据处理和写入负载。英特尔固件的增强特性则包括经过优化的错误避免技术、减少写入放大的算法和超越业内常见的错误检查与纠正（ECC）标准的系统层错误管理。
转自CSDN

转载于:https://blog.51cto.com/wuhancd/969814

大数据解决方案背后——开放架构才是未来相关推荐

  1. 云端部署大数据解决方案该用IaaS还是PaaS?

    通过快速部署.很低的资本成本和可扩展性,云计算给公司企业了巨大的价值. 然而,选择IaaS解决方案还是PaaS解决方案对云项目的回报速度以及应用程序开发创造价值的时间会有重大影响. 将大数据解决方案部 ...

  2. 《企业大数据系统构建实战：技术、架构、实施与应用》——第3章 企业大数据解决方案 3.1 企业大数据解决方案实现方式...

    本节书摘来自华章计算机<企业大数据系统构建实战:技术.架构.实施与应用>一书中的第3章,第3.1节,作者 吕兆星 郑传峰 宋天龙 杨晓鹏,更多章节内容可以访问云栖社区"华章计算机 ...

  3. 基于大数据的能力开放平台解决方案

    某企业经过多年的系统建设和演进,内部系统间存在一些壁垒,通过在运营商的各个内部系统,如经分.VGOP.大数据平台.集团集市等中构建基于ESB 的能力开放平台,解决了系统间调度.封闭式开发.数据孤岛等系 ...

  4. DKHadoop人力资源大数据解决方案架构

    大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式,很多看起来有点"不可思议"的事情也渐渐被我们"习以为常".大数据可能在国内的起步较晚,但我们可能 ...

  5. 全面解析大数据解决方案的架构层

    大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件,大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求.这些逻辑层列出了大数据解决方案的关键组件,包括从各种数据源获取数据的位置 ...

  6. 理解大数据解决方案的架构层

    概述 介绍了一种评估大数据解决方案可行性的基于维度的方法.如果您已经使用上一篇文章中的问题和提示分析了自己的情况,并且已经决定开始构建新的(或更新现有的)大数据解决方案,那么下一步就是识别定义项目的大 ...

  7. 新⼀代USDP开源套件，可替代CDH的免费大数据套件平台及架构选型

    持续输出 敬请关注 大数据架构  湖仓一体化  流批一体 离线+实时数仓  各种大数据解决方案  各种大数据新技术实践 持续输出  敬请关注 [第一篇]⼤数据平台基础架构及解决⽅案https://bl ...

  8. 物联网大数据平台软件开发架构案例解析

    物联网大数据平台软件开发架构案例解析 有人说物联网是引领信息技术的第三次浪潮. 第一次浪潮是个人电脑的出现,开创了信息时代的第一次革命,此次浪潮成就了微软.IBM等巨头. 第二次浪潮是以信息传输为特征 ...

  9. 大数据解决方案-最新全套文件

    大数据解决方案-最新全套文件 一.背景与需求分析 1.源端数据标准各异,加工存在技术壁垒 2.城市管理数据缺乏,精准服务无法开展 3.数据共享时效性要求无法满足业务需要 4.全生命周期安全管控能力有待 ...

最新文章

  1. 希望和等待：目标，欲望和意志
  2. Spring Boot 优雅停止服务的几种方法
  3. frps 多个_同时穿透多个内网web服务，提示冲突
  4. 通过模板设计按钮样式
  5. 诸如北京现代 只有四个轮子和一电瓶由中国制造(转自新华网)
  6. 微信开发之调起摄像头、本地展示图片、上传下载图片
  7. 大型项目开发: 隔离 (《大规模C++程序设计》书摘)
  8. JS读取Excel时日期转换问题：1900-2-29问题
  9. python抓取豆瓣妹子图片并上传到七牛
  10. 解线性方程 matlab,用matlab求线性方程的解
  11. 约瑟夫环问题java_Java求解约瑟夫环问题
  12. META-INF、WEB-INF分别是什么？
  13. 用python画钢铁侠_秒变钢铁侠，这个暑假，用 Python 让自己成为超级英雄！
  14. 无法加载文件C:\Users\TANG\AppData\Roaming\npm\nrm.ps1，因为在此系统上禁止运行脚本
  15. HTML5的基础认知 与 css的部分内容
  16. Hadoop常见错误及解决方案、Permission denied: user=dr.who, access=WRITE, inode=“/“:summer:supergroup:drwxr-xr-x
  17. 学校计算机教室防火墙,学校网络及电脑教室建设方案
  18. python 条形图填充疏密_可视化库-Matplotlib-条形图(第四天)
  19. python if in 表达式方式
  20. vlc在Ubuntu下的自动安装和手动安装

热门文章

  1. 厦门大学计算机专业录取分数线2019,厦门大学2019年本科生录取分数线
  2. 零基础该如何系统地自学Python编程？五个阶段带你从小白到大佬
  3. sap系统工单关闭_什么样的系统算是坑
  4. php proc open 返回,PHP用proc_open新建子进程使用管道通信非阻塞执行PHP脚本
  5. shell 开机自动执行_windows还能这么玩？开机自动念情书
  6. 如何清空DNS缓存Windowslinux
  7. k8s-harbor安装
  8. JavaScript初学者编程题(6)
  9. mysql截取不含%_zp blog
  10. CF558E A Simple Task 线段树