HTAP数据库：Hubble实时计算场景的最优选择
实时流式计算适用场最大的特点就是及时，试想以下场景，如果没有流式计算系统，公司会损失多少MONEY：
需要实时异常检测的欺诈/风控等系统
需要实时查看交易额的交易系统
需要实时计算点击/计算分成的广告系统
需要实时更新用户标签的实时用户画像系统
需要实时根据用户喜好推荐商品的实时推荐系统
再试想以上场景，如果核心技术不是国产自研的，信息风险会有多高？
大数据兴起之初，Hadoop并没有给出实时计算解决方案。随后Storm，SparkStreaming，Flink等实时计算框架应运而生。六年前提起实时流式计算大家会想到Storm，三年前提起大家会想到Spark Streaming，去年提起那无疑是Flink了。可见技术世界的迭代是飞速的。
天云数据十余年深耕在分布式计算领域，自主研发的HTAP 数据库HUBBLE 在高并发实时流升级完成了Flink不能处理更多事实表的金融反欺诈和复杂权益服务。
高并发、实时流两个业务场景都对时效性要求特别高，几乎是需要毫秒级返回数据处理结果。Flink是流计算、批处理一体的计算框架，因此其自身不存储业务数据，输入数据需要依赖Kafka、hive等数据源。而Flink接口层只支持SQL，不支持通过JDBC/ODBC协议调用，需要通过Flink特有的API来调用。而且Flink依于计算框架做计算，计算框架本身不会对源数据做任何的优化，因此计算时需要对业务全生命周期的数据进统计分析，时效性可想而知。可以说，Flink自身的架构体系就丢失了很多时效计算的优势。
若将Flink拆开，流计算确实可以支持实时的毫秒级数据处理，但无法满足业务的复杂性；批处理确实可以满足复杂的业务逻辑，但无法满足业务的毫秒级数据处理，而且是不支持并发的。但这不符合市场业务的需求。
**已有产品的不完善、业务市场的迫切需求都给了Hubble数据库走进高并发实时计算的契机。**Hubble利用AI算法的优势，实现Hubble数据库分层设计。在数据存储层上,采用基于切片的行式存储、列式存储和KV存储的混合部署模式，在大规模数据同时支持密集AP计算和TP并发场景下, 基于数据切片的混布存储策略可以弹性适应IO特性，快速做库内转换。Hubble数据库可以通过JDBC/ODBC协议来调用，还可以在数据库上创建索引，在高并发大规模数据下完全可以毫秒级响应，更好的满足业务场景。
Hubble产品在某大型股份制银行信用卡业务系统上线后，经过银行业业务专家进行应用测试：在实时反欺诈场景中：实现了每天千万级交易数据数据实时并发入库；接近100个复杂欺诈规则分析，毫秒级返回分析结果。
值得一提的是，作为原创国产数据库在中国电子工业标准化技术协会信息技术应用创新工作委员会指导的全国首届信创信创产业生态大赛中获得一等奖的荣誉。
当下人类正在进入智能时代，数据已成为新的生产要素，数据库将成为金融、政府、公安、军政等国家命脉行业基础设施的支柱。近些年发生的“微软黑屏门”、“微软操作系统停更”、“棱镜门”等安全事件，敲响了我国 IT 产业的警钟，中国必须建立基于自己的 IT 底层架构和标准。就数据库产品而言，要想从根本上把握住国产数据库的“命门”就要自主设计研发。加持国家政策的支持，信创产业的推动，原创一定是国产数据库的最终宿命。
HTAP数据库：Hubble实时计算场景的最优选择相关推荐
- 实时计算 Flink性能调优
为什么80%的码农都做不了架构师?>>> 摘要: 实时计算 Flink新增自动调优功能autoconf.能够在流作业以及上下游性能达到稳定的前提下,根据您作业的历史运行状况,重 ...
- HTAP数据库：Hubble，企业实时营销的法宝
真营销只有两种情况:一种是把你的产品卖给你的用户,另外一种是把你的品牌卖给你的用户.第一种当下就产生业务,第二种之后会产生业务. 营销的魅力不仅在于精准,更在于实时.这就像追求恋人一样,投其所好很重要 ...
- 深植于场景需求混布数据库Hubble
友情提示:演讲有科普型信息,也有技术型信息,大家可以按需提取. 深植于场景需求混布数据库:Hubble 一.变化趋势 数据四大变化:万物互联的时代,量级达到千亿级每天,非结构化数据占比很高,实时分析的 ...
- 天云数据五度蝉联Fintech50强 Hubble实时流计算完胜Flink
2021年1月18日,毕马威2020中国领先金融科技企业评选发布会在京举行,会上公布了"2020毕马威中国领先金融科技企业名单".2016年至2020年,毕马威五次推出TOP50榜 ...
- HTAP数据库：Hubble加倍实现数据湖价值
98%的企业都面临数据孤岛问题,数据没标准.数据难统一.数据难打通.数据质量低.打通数据孤岛难度大周期长成本高,企业每年在糟糕的数据上多花费近25%的成本. 有痛点就有市场,数据湖应市而生. 为什么是 ...
- HTAP数据库：Hubble释放物联网数据潜能
有一双未卜先知的眼睛,城市里错综复杂的十字路口和成千上万的路段里路况都在它的视野里,并且它能提前告诉你5分钟后.10分钟后,乃至1个小时后的路况信息: 有这样一个全能机器管家,它能很好的感知设备性能的 ...
- 传统金融业务场景下Flink实时计算的探索与实践？ by鸣宇淳
超长文警告!本文7000字,含架构图和各种解决方案的尝试,以及详细代码.,最后还有电子书和各种分享ppt下载,请在wifi下观看.土豪随意 我是鸣宇淳,一个大数据架构师.今天给大家分享一下我在传统金融 ...
- 克拉克拉(KilaKila)：大规模实时计算平台架构实战
克拉克拉(KilaKila):大规模实时计算平台架构实战 一.产品背景: 克拉克拉(KilaKila)是国内专注二次元.主打年轻用户的娱乐互动内容社区软件.KilaKila推出互动语音直播.短视频配音 ...
- 云原生大数据架构中实时计算维表和结果表的选型实践
简介: 随着互联网技术的日渐发展.数据规模的扩大与复杂的需求场景的产生,传统的大数据架构无法承载. 作者 | 志羽 来源 | 阿里技术公众号 一 前言 传统的大数据技术起源于 Google 三架马车 ...
最新文章
- VDI序曲二十三 制作OFFICE 2003应用程序虚拟化序列
- 策略模式（Stratety）
- c语言实现文件数据删除视频,如何用c语言实现删除文件中指定的数据；例如
- python时间差转换成天数_Python实现计算两个时间之间相差天数的方法
- 【自动化测试】整理各种测试开发工具！持续更新
- 【职业生涯】这样的开发人员每个团队都想要
- mybatis中SqlSession一定要关闭
- python中usecols_Python学习路线？
- 通过Git进行分支管理
- numpy 代码优化（一）—— 常见手段
- 7z001怎么解压在安卓手机上面_安卓手机怎么设置网易企业邮箱
- SpringBoot读取配置文件
- 安装并启动Tomcat 8（mac版本）
- matlab与计量经济学,matlab与计量经济学
- 量化交易入门，看这篇就够了
- 金蝶K/3 Cloud 实施笔记
- 横井军平（WIKI资源收集）
- 趣味算法图解，高清无码图免费下载
- GF3卫星影像数据处理-PolSAR+ENVI
- frontpage怎么设置html5,怎么在Frontpage中运用css设置网页字体