大数据时代为数据存储带来压力,越来越多的组织需要在云计算的技术基础上搭建起能够存储大量结构化和非结构化数据的存储平台。云存储应“云”而生。

  所谓云存储,是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。而实现适应用户需求的云存储,关键在于选择强大的基于应用与部署需求的数据架构。

  日前,业界领先的企业级和移动软件公司 Sybase 携手国内第一家云计算基础架构与平台服务提供商美地森,共同打造全共享架构与无共享架构完美结合的云存储平台。Sybase IQ与美地森云存储软件通过了中创信测的苛刻的功能和稳定性测试,打造了全球领先的云架构数据仓库解决方案。

  该方案拥有如下优势:

  ·兼具Shared Nothing(无共享)和Shared Everything(全共享)架构的技术优势;

  ·兼具列式存储和云计算架构的优势,满足超大数据量应用对基础平台的性能需求;

  ·采用云计算集群体系架构,拥有卓越的扩展性和高可靠性;

  ·采用x86架构取代小型机,因此大幅降低系统TCO成本;

  该方案为超大数据量分析平台等数据密集和运算密集的应用提供了全球领先的技术架构,解决了“大数据”分析应用所遇到的技术挑战。该方案成本可控,技术领先,支持结构化和非结构化数据,可广泛服务于金融行业、电信行业、政府行业、广电、能源行业、航空、制造行业、烟草、零售等行业。

  Sybase IQ ——支持全共享MPP架构

  目前业界最常用的数据架构便是Shared Nothing(无共享)以及Shared Everything(全共享)。

  Shared Nothing架构中的每一个节点都是独立、自给的,而且整个系统中没有单点竞争。有些系统需要集中保存大量的状态信息——数据库、应用服务器或是其他类似的单点竞争系统。Shared Nothing体系使数据库稳定增长,随着事务数量不断增加,增加额外的CPU和主存就可以保证每个事务处理时间不变。

  伴随着云计算技术的发展,越来越多的企业希望将企业资源虚拟化,实现信息共享,由此带来Shared Everything(全共享)架构的发展。从“客户端”角度来说,Shared Everything架构的核心内容就是把计算发展成为一种公共设施,就像我们日常所使用的水和电一样;从“服务器端”来考虑,Shared Everything是计算资源的虚拟化或者说是计算资源的汇合,并实现信息共享、高可用性和安全性。

  Sybase 在其IQ 15.3产品中引入了基于“大规模并行处理”(MPP)架构的PlexQ分布式查询平台,通过将任务分散到网格配置中的多台计算机,加速了高度复杂查询的速度。与传统无共享MPP架构相比,Sybase IQ 15.3 PlexQ分布式查询平台拥有更出色的并发性、自助式即席查询功能和计算及存储资源的独立扩展性。有了这一架构,PlexQ能够通过简单、灵活的资源配置,将节点合并成统一模块,分配到不同的应用配置中,从而超越服务水平协议(SLA)的要求。

  与传统的无共享(Shared-Nothing)的MPP架构不同,PlexQ采用全共享(Shared-Everything)方法,能够动态地管理和平衡Sybase IQ MPP配置中所有计算节点之间的查询任务负载。PlexQ的自动化工作负载均衡器积极主动地运行,避免用户争抢系统资源,从而为一系列并行工作负载提供可预测的高性能。

  Sybase IQ 15.3——重新定义云架构

  基于企业不断变化的存储与分析需求,Sybase IQ使用了独特的列式存储方式,在进行分析查询时,传统的关系型数据库需要缓慢的读取整个表的每一行,这种读取方式通常会阻塞I/O通道、内存和磁盘,而Sybase IQ 仅需读取查询所需的列,其垂直分区策略不仅能够支持大量的用户、大规模数据,还可以提交对商业信息的高速访问,其速度可达到传统的关系型数据库的百倍甚至千倍。同时,在存储大数据方面,Sybase IQ 能够存储海量的复杂数据,与传统数据库相比,其存储能力可多达10倍以上。

  另外,Sybase IQ 所采用的Multiplex技术,充分利用了单个服务器(节点)在执行特定功能时可进行磁盘存储共享并通用的优势。也就是说,存储是共享的、压缩的、列分区存储的,它们通过一条高速的光纤通道与Multiplex架构中的所有服务器节点互联。这些服务器节点既可以作为数据读节点也可以作为写节点(或者两者都是)运行,支持所有连接到共享数据源的并发的数据加载和查询。这一技术使得Sybase IQ 可以在大量的使用场景中游刃有余,比如快速的并行分析和报表,同时支持高速的实时数据加载、批量数据集成任务、即席客户端加载和查询等等(见下图):

  Sybase IQ 15.3 PlexQ分布式查询平台解决方案拥有以下优势:

  ·卓越的性能:用户能够利用Sybase IQ PlexQ环境中多个计算资源的优势,同时处理要求最苛刻的查询;

  ·增强的可扩展性:随着用户数据和查询复杂度的增加,系统管理员能够简单、低成本高效地使用任何常见的硬件来扩展Sybase IQ PlexQ节点;

  ·架构灵活性:系统管理员能够快速、简单地将计算资源的子集合并为逻辑实体,以响应不断变化的用户要求。

  (Sybase IQ 15.3 PlexQ分布式查询平台工作原理及优势如下图)

  美地森浩存云存储产品

  美地森科技是业界领先的云存储、云计算系统提供商,拥有云存储产品浩存、云一体机系统麒云两大产品线,以及针对广电、互联网、电信、教育、政府、IDC在内的众多行业云存储、云计算解决方案。

  浩存是美地森科技自主研发的云存储产品系列,内置了自主研发的YFS云文件系统。通过YFS云文件系统,可将多台普通X86 架构服务器上的本地磁盘管理起来,形成一个大的存储池,实现存储虚拟化。此外,浩存提供了标准的iSCSI主机接口。浩存云存储产品专为需要按需扩容、高可用、注重存储效率和性能的应用而设计,非常适合虚拟化、海量数据存储、OLTP业务、存储资源整合等应用环境,可广泛运用于电信、政府、教育、互联网、金融等行业。

  因其具备“高可靠性”、“易扩展”、“高随机读取性能”、“易于管理”、“自动精简配置提升存储资源利用率”以及“本地化支持与定制”等特点与优势,浩存目前已为湖南卫视金鹰网、VeryCD、安博教育等国内知名企业提供了高品质的存储方案和服务。(软硬件配置如下图)

  Sybase与美地森实现完全意义的云存储架构

  北京中创信测是国内电信监测领域著名的高科技企业之一,其监测系统由于性能稳定、安全可靠、功能全面丰富、技术先进而获得了国家科技进步二等奖,在IT监测特别是电信信令监测领域具有较高权威。

  2010年,中创信测公司在中国移动No.7 信令监测系统二期建设中便以Sybase IQ 为核心平台,存储和管理海量话单数据,实现了在大数据量实时加载的同时进行统计、分析和查询的系统需求,并节省了大量的硬件存储设备。以Sybase IQ为核心存储平台的No.7信令监测系统已经在中国移动公司上海、新疆、河南等10余省进行了建设,其系统整体性能和可靠性得到了实际验证。

  着眼于Sybase 在数据库管理与分析领域的领导地位,以及在电信领域的成功应用,美地森将旗下自主研发的云存储产品系列浩存与Sybase IQ 15.3 进行结合,并共同通过了北京中创信测科技股份有限公司的联合测试。凭借Sybase IQ 15.3 PlexQ分布式查询平台的MPP共享架构,以及美地森浩存在云存储方面的强大功能,双方携手实现云存储领域的强强联合。

  Sybase IQ 15作为信令系统的数据库,承担对信令系统数据的处理。采用Mutiplex架构和PlexQ的Sybase IQ,实现了对信令系统中大数据的快速查询和高效压缩。在中创信测最近的技术测试中,美地森浩存的作用就是作为Sybase IQ的“阵列”,通过MDS的云存储技术将分散在x86机器上的本地硬盘虚拟为一个统一的大存储,提供对上层软件的数据存储支持。对于Sybase IQ 来说,就是采用多台PC Server取代了Sybase IQ传统上的主机+阵列模式。

  Sybase IQ 的数据处理结果就通过MDS分布式文件系统存储到廉价的PC Server上,并根据需要采取一定的冗余量,保证了数据的有效性和可靠性,从而实现了Shared Everything计算节点和Shared Nothing存储节点的完美结合。另外,通过采用虚拟机、虚拟集市、分布式查询、分布式存储等技术适应了当前云技术的要求,极大的提升了架构的灵活性,资源配置的合理性,方便用户做出选择和调整。

  通过双方产品的优势互补以及双方技术力量的配合,使得该项目在中创信测的测试中取得了极大成功。Sybase IQ 与美地森浩存云存储软件的合作,已经通过了稳定性测试,实验室环境5节点下可以做到2个节点宕机情况下不丢失数据,并且能够在物理资源增加的情况下,实现处理性能的线性递增。

转载于:https://blog.51cto.com/wws5201985/785372

Sybase携美地森打造云架构数据仓库平台相关推荐

  1. 天翼云入局5G云游戏市场!携手合作伙伴打造云游戏能力平台

    2020年5月16日,中国电信在线发布"天翼云游戏能力平台",正式宣布向游戏产业链合作伙伴提供游戏开发测试.游戏云化适配.游戏内容发行.游戏运营支撑.游戏产业资本对接等各类生态合作 ...

  2. 通关制单机器人_2020关务节|“数字供应链与智能通关”论坛——如何打造云上跨境贸易生态圈...

    点击标题下「蓝色微信名」可快速关注  随着跨境贸易的飞速发展,其涉及的有商流.信息流.资金流与物流.其中,物流特别是跨境物流,又是其中较为重要的一个环节.如何解决跨境贸易的物流物流困难?让我们来听听, ...

  3. springcloud架构特点_打造企业级微服务平台架构,分布式应用场景管理

    微服务平台架构是一项在云中部署应用和服务的新技术.大部分围绕微服务的争论都集中在容器或其他技术是否能很好的实施微服务. 微服务系统可以在"自己的程序"中运行,并通过"轻量 ...

  4. 分布式微服务企业快速架构之SpringCloud分布式、微服务、云架构快速开发平台

    鸿鹄云架构系统管理平台是一个大型企业.分布式.微服务.云架构的JavaEE体系快速研发平台,基于模块化.微服务化.原子化.热部署的设计思想,使用成熟领先的无商业限制的主流开源技术(Spring Clo ...

  5. 运行截图之SpringCloud企业分布式微服务云架构快速开发平台源码

    鸿鹄云架构系统管理平台是一个大型企业.分布式.微服务.云架构的JavaEE体系快速研发平台,基于模块化.微服务化.原子化.热部署的设计思想,使用成熟领先的无商业限制的主流开源技术(Spring Clo ...

  6. SpringCloud企业分布式微服务云架构快速开发平台源码之运行截图

    鸿鹄云架构系统管理平台是一个大型企业.分布式.微服务.云架构的JavaEE体系快速研发平台,基于模块化.微服务化.原子化.热部署的设计思想,使用成熟领先的无商业限制的主流开源技术(Spring Clo ...

  7. 车路云协同规模化开启,云控基础平台落地加速

    近期,北京经开区高级别自动驾驶示范区取得阶段性成果,正式进入2.0阶段. 作为全球首个网联云控式高级别自动驾驶示范区项目,该示范区经过1.0阶段建设,完成了网联云控中国自动驾驶解决方案的系统搭建,车路 ...

  8. 有孚网络副总裁吕鑫:合纵连横,云领未来—如何打造低成本混合云架构

    上海有孚网络公司已成功打造知名的服务品牌"阳光互联",通过云计算方式向企业提供低成本高性能的平台式信息化服务,已成为中国首批最大的云计算服务商之一.从设计初衷就前瞻性的定位成为中国 ...

  9. 三大措施助力连接提速 网易云信打造智慧IM云架构

    编者按:互联网+时代,消息量级的大幅上升,消息形式的多元化,给即时通讯云服务平台带来了非常大的挑战.网易云信不仅能够完美支持千万数量级的高并发消息量,还与此同时做到了稳定和快速.这背后究竟有着什么样的 ...

最新文章

  1. iOS 13 如何删除SceneDelegate
  2. [转载]Python爬取豆瓣影评并生成词云图代码
  3. 深度探索C++ 对象模型(4)-Default Copy Constructor(2)
  4. Jquery 点击当前的标签对象获取值 与JS整理
  5. 在 ActiveReports 中嵌入 Spread 控件
  6. 牛客16494 生活大爆炸版石头剪刀布
  7. 在U盘上安装Linux系统解决方案
  8. mysql ken len_MySQL EXPLAIN
  9. layui 行变灰_layui table设置某一行的字体颜色方法
  10. Oozie 调用sqoop导数据出现NoClassDefFoundError问题
  11. Ceph 撸源码系列(二):Ceph源代码里的那些锁 std::mutex(2 of 3)
  12. ubuntu 设置静态路由_ubuntu 配置静态路由
  13. python对以后的就业方向_Python的四个就业方向
  14. Netty和Tomcat有什么区别
  15. 精益创业实战 - 内容简介
  16. 理解Window和WindowManager
  17. 什么是X11-Forwarding
  18. 如何用ssh隧道绕过防火墙
  19. Android-关于将Excel表格中的数据展示到手机屏幕上的解决方案
  20. Web大学生网页作业成品:基于html制作中国科技发展网站设计题材【航天之路7页】HTML+CSS+JavaScript

热门文章

  1. 领英创始人里德·霍夫曼退出OpenAI;微软推出多模态模型 Kosmos-1;谷歌推出PaLM-E...
  2. android吉凶信息查询代码,手机号码吉凶查询工具 公开源码,可任意修改
  3. (附源码)计算机毕业设计ssm宠物短期寄养平台
  4. 啃Docker大骨头所必备的基础理论
  5. 2022年迪拜Wiki Finance Expo:汇聚全球最佳外汇资源
  6. 电信星空极速NetKeeper2.5 破解
  7. 丫丫到达上海浦东机场就收到了竹子,这回丫丫回国能吃饱喝足了
  8. 入门Webpack,看这篇就够了
  9. php终止循环语句,PHP循环中的break如何使用
  10. 艾妮记账本微信小程序开发(失败版)