数据架构现代化,Cloudera“混合数据”能够成为定海神针吗?
“现代数据架构,加速数据变现。”Cloudera大中华区区域副总裁王刚在近日于上海举行的Cloudera Evolve上如此表示,“作为一家混合数据公司,Cloudera将积极拥抱混合数据未来。”
Cloudera大中华区区域副总裁王刚
现代数据架构水到渠成
如果提到“肯睿”这个Cloudera的中文名字,可能很多人会感觉陌生,但是一说到Cloudera Data Platform (CDP)这个Cloudera公司的旗舰产品,大多数用户都会发出一声感慨,因为他们都曾受益于这一混合数据平台。
IDC的调研显示,国内某金融机构早在2017年便采用了CDP,但是目前,其大数据建设进度只有30%~40%。从中国行业用户的普遍现状来看,虽然很多企业在构建数仓并做了大量可视化的工作,但是在智能化、数字化方面仍缺少统一规划,进展不如想象中那样快。从整体需求层面来看,中国行业用户迫切需要打造一个安全稳定的现代化数据平台,并且希望利用数据智能来创造新的价值,重塑竞争力。
在业务驱动、大数据处理愈加复杂、多云部署成为主流的背景下,行业用户对大数据平台提出了更高的要求。随着数字化转型逐渐深入,IT基础架构的现代化、应用的现代化都被提上了日程,这其中数据架构的现代化也是不可或缺的一环。Cloudera正是为有效应对现代数据架构的挑战,才不断强化其CDP。
Cloudera大中华区技术总监刘隶放
Cloudera大中华区技术总监刘隶放表示,Cloudera混合数据平台能够更好地支持现代数据架构。在这一平台架构中,由下往上,最底层的混合云和多云的基础架构,能够保证跨所有环境的一致体验;其上,数据编织(Data Fabric)和编排(Orchestration)层,能够以自助服务的方式智能、安全地动态编排不同的数据源,利用数据平台提供集成的可信数据,支持各种应用程序、分析和其他工作负载;再往上,湖仓一体与多功能分析,具有集成和统一数据仓库及数据湖的功能,旨在支持同一数据集上的AI、BI、ML和数据工程;最上一层,数据网格与数据应用,基于面向域的分布式数据产品,使用通用数据基础设施作为平台来托管、准备和服务其数据资产。
“我们始终在强调,我们是一家混合数据架构公司,既可以支持私有化的部署,也可以在公有云上支持混合数据。这是由客户需求决定的。从本地到云再到边缘,用户会根据业务发展以及安全合规运营的要求,在混合云的环境中最优化地存储数据、调用数据、使用数据,在满足数据安全性的前提下,最大程度地追求降本增效。因此,我们不遗余力地在自己的平台上支持用户的混合数据应用。”刘隶放如是说。
IDC分析师指出,为满足数据架构现代化的需要,行业用户有必要在混合云、数据编排和湖仓一体上下更多功夫。如今,多云、混合云已经是架构转型的必然趋势。过去,企业已经建了一些大数据平台和系统,现在则要对这些平台和系统中的海量复杂数据进行分析,实现智能化的洞察,而湖仓一体化的架构可以让这项工作事半功倍。另外,像实时数据、流数据的处理,以及交互式分析,都对数据架构提出了更高的要求,研究、部署和应用现代数据架构成了当前一项非常紧迫的任务。
上汽大众2017年开始引入Cloudera的CDH,2018构建了数据湖,2022年用6个月的时间升级到CDP,它也是国内汽车行业率先实现升级的。升级到CDP后,上汽大众的批量作业性能平均提升2.5倍,其中最高提升达6.6倍。据王刚介绍,已有83%的中国客户完成或部分完成了向CDP的升级。2023年,Cloudera希望这一比例超过90%。
2023,有的放矢
作为一家混合数据公司,Cloudera致力于为千行百业的客户提供满足数据编织、湖仓一体、数据网格和未来数据生态系统架构要求的混合数据平台,使得客户能够在多个公有云、私有云以及本地,访问和分析数据,从而做出由数据驱动的明智决策,走向由数据驱动的未来。
为了实现上述目标,2023年,Cloudera将主要做好以下三项工作。
重点推动PVC DS私有云数据服务。新应用内置工作负载隔离,价值实现时间提高10倍,而数据中心基础设施却减少约一半。今天,大数据走向云原生已经是大势所趋。Cloudera一直积极践行云原生,并可以基于Kubernetes对外提供数据加工、数据仓库、机器学习等服务组件,同时提供统一的权限管理,并确保应用上的绝对隔离,以满足安全性的要求。国内已经有用户采用Cloudera云原生的数据服务,用于支持机器学习、数仓等应用。“对云原生的数据服务提供支持是必然选择,而且不仅要在公有云环境下提供很好的支持,更要应用于私有云环境中。”刘隶放如是说。
更好地支持Iceberg版本(公有云的版本已经推出,私有云的版本马上发布),实现对开放的湖仓一体架构的支撑,最终在单一平台上支持AI、BI、ML和数据工程等,同时与安全性完美结合。刘隶放表示:“未来,湖仓一体化还有很长的一段路要走,需要厂商、社区共同进行大量持续的投入。”
对象存储组件Ozone值得期待。有了Ozone的支持,CDP能够更好地支持更多小文件以及更大数据量的存储,并且可以支持云原生。
另外,在动态数据的处理上,Cloudera也在推陈出新。以前,用户的数据大多是静态的。但是现在,比如在工业领域,传感器数据就是动态数据。为了更好地应对数据分发与实时流处理,Cloudera推出了针对Data-in-Motion动态数据的三个组件:DataFlow,通过Apache NiFi允许开发人员连接任何地点、数据源与结构类型的数据,进行加工处理后,交付到任意地方;Stream Processing,通过Apache Flink & Kafka提供完整的企业级数据流管理,并借助标准界面,使得开发人员、数据分析师、数据科学家能够轻松地构建实时混合云应用;Cloudera SDX,通过Apache Ranger & Apache Atlas,使得数据流安全可控,并且得到有效的监控与治理。
“如果企业的总裁早上睁开眼的第一件事就是要看到报表和分析结果,那么这样的企业通常会是我们的优质客户。”刘隶放表示,“很多企业之前可能已经在开源的组件上做了一些大数据方面的有益尝试,当他们真正想向生产系统移植时,出于企业级特性、安全合规等方面的考虑,他们最终会找到Cloudera。我们提供标准化的7×24小时专业服务,能够满足企业级客户对功能特性、安全合规、混合多云等多方面的需求。”
数据架构现代化,Cloudera“混合数据”能够成为定海神针吗?相关推荐
- 30人团队的数据架构师:谈谈数据湖这个风口吧,你们说的都没价值
不知道你们有没有感觉到,传统的数据仓库模式,在快速发展的企业面前已然显得力不从心. 数据湖,是可以容纳大量的原始数据的存储库和处理系统,已经成为企业应用大数据的重要工具.数据湖可以更好地加速从数据到价 ...
- 【大数据架构】浅谈数据中台
数据中台背景 大环境背景 近几年较火的数字化转型,很多企业也从信息化到数字化. 信息化时代:是信息化为物理世界活动服务的:更多的是为物理世界活动提升效率.例如我们现在很多系统其实也是信息化,例如OA系 ...
- 大数据架构及行业大数据应用
今天要和大家分享一 些南大通用CTO武新所总结的底层数据处理技术的发展趋势和正在经历的巨大变革. 这个领域过去5年发展很快.热度很高,目前还在起步阶段. 1.数据价值的发现与使用 先不说什么是大 ...
- 【数据架构系列-01】数据架构之数据血缘:数据从哪里来,到哪里去
为了直观的感受数据血缘,先从网上找了两张典型的数据血缘的图.下图特点是按照数据仓库数据管理模型给出了基于表(实体)的数据血缘图. 此图是截取Solidatus软件生成的数据血缘图,该图与上图的区别在于 ...
- 【大数据架构】基于大数据的消费信贷平台
金融的核心是风控,而好的风控依托于数据.作为依托于大数据驱动的信用消费金融平台的量化派,为了给信贷用户更准确的信用评级,对于每个信贷用户都会从多个渠道获取大量的有效数据,这些数据聚合起来也是海量数据规 ...
- Cloudera发布全球企业数据成熟度报告,混合云趋势中有效数据战略是关键
编辑 | 宋慧 出品 | CSDN云计算 2022年3月初,企业数据云公司Cloudera近日发布与技术市场研究公司Vanson Bourne联合编写的全球企业数据战略研究报告,报告分别洞察了数据的使 ...
- 我们需要一次怎样的数据架构变革?
现有数据架构难以支撑现代化应用的实现. 随着云计算产业的快速崛起,带动着各行各业开始自己的基于云的业务创新和信息架构现代化,云计算的可靠性.灵活性.按需计费的高性价比等优势已经让很多企业把" ...
- Keras: 多输入及混合数据输入的神经网络模型
目录 摘要 正文 什么是混合数据? Keras如何接受多个输入? 房价数据集 获取房价数据集 项目结构 加载数值和分类数据 加载图像数据集 定义多层感知器(MLP)和卷积神经网络(CNN) 使用Ker ...
- 快手大数据架构演进实录
快手大数据架构团队组建于 2017 年,短短三年间已搭建起一个万亿级规模的大数据架构体系.快手的大数据架构是怎样演进的?在春晚红包活动中遇到了哪些挑战,又是如何应对的?在 Hadoop 的应用上,快手 ...
最新文章
- 【ICML2021】学习权衡不完美的示范
- 一个合格的程序猿编程
- excel mysql日报_Excel日报自动化
- mha检测mysql报错_MySQL MHA 报错处理
- 神奇的marquee--滚动的文字
- replaceAll的坑
- CTF-练习平台-Misc之 Convert
- 微型计算机开机密码丢失,校诡实录微机教室攻略 电脑密码是多少[多图]
- form表单属性名相同java_form表单提交 list对象给Java 后台结合
- [转]malloc的内存用free释放后为何系统回收不了
- mysql增加表中数值的sql语句_sql语句--MySql添加表数据
- 孙鑫VC学习笔记:第十一讲 (一) 坐标空间与各种转换的概念
- redux工作原理简单入门
- xcode清理缓存_Mac 垃圾清理软件腾讯柠檬Lemon
- 碎片(Fragments)
- Excel为图表指定横向坐标数据
- 工行网银 火狐浏览器
- Ubuntu下设置键盘背光灯
- 使用EditPlus技巧,提高工作效率(附英文版、自动完成文件、语法文件下载)(转载)...
- x射线计算机断层摄影设备参数,GB 17589—2011 X射线计算机断层摄影装置质量保证检测规范.pdf...