秒级加速质变，Apache Doris与360数科的“化学反应”

随着信贷科技的不断发展，使大数据分析场景相应地增加了许多，对于金融科技平台而言，这些新场景对数据的安全性、准确性、实时性提出更严格的要求。与此同时，指数级增长的用户数，也向业务端施加了交付效率、稳定性、用户体验等多重压力。

日前，毓数大数据平台架构全面升级，360数科完成了Apache Doris在毓数大数据分析多场景落地应用。值得一提的是，不同于市面上应用最为广泛的实时数仓场景，360数科独创的Doris + Presto秒级多级加速引擎，大大改良了大数据分析内存占用过高，数据处理缓慢等问题。在Doris的支持下，360数科实时查询一级加速性能提升190倍，二级加速性能提升19.1倍，实时数据分析效率大幅提升。

独创加速机制，打造秒级响应竞争力

伴随业务的不断深入，360数科早期应用的OLAP多维分析数据库集群稳定性较低、运维复杂和表关联查询较慢等问题凸显。“除此之外，在大数据查询分析场景，基于Spark单一查询引擎分钟级响应，影响数据分析人员工作效率，亟需做出优化和重构。” 360数科系统架构总监黄建庭称。

基于以上需求及痛点，360数科对大数据计算引擎的选型目标提出了明确的需求，即：数据写入性能高、查询响应秒级、兼容标准 SQL 协议、表关联查询性能优秀、支持丰富的数据模型、运维复杂度低、社区活跃以及对商业友好，无法律风险。

今年3月，360数科对符合以上特点的数据库 Apache Doris 展开了为期两个月的调研测试，并在多次适配后，独创多级查询引擎动态切换的机制，完成了针对业务场景的调优。“Doris的应用，使我们的数据处理分析能力发生了质的飞跃。从效果来讲，Doris不仅可以支持高并发的实时查询场景，也能支持高吞吐的复杂分析场景。”

以实时查询场景举例，传统的大数据查询引擎难以满足数据开发者、数据分析师对查询响应性能提出的高要求，动辄分钟级甚者小时级的查询耗时极大的限制了相关场景的数据分析效率。

为提高查询性能，360数科自主研发的多级加速查询引擎，支持多查询引擎动态切换的机制，能够通过识别查询数据的元信息对当次查询做自动的查询引擎（Doris/Presto/Spark/Hive）路由和故障切换。通过将Doris 架设在 Hive 数仓的上层，360数科可以直接复用已经建设好的数据血缘关系，在不利用Doris 集群产生新表的前提下，就能完成对特定场景的低成本查询加速。

拥抱新技术，反哺开源

显然，对于Doris的应用并非360数科在开源领域的首次尝试。

2019年，360数科加入Apache OpenMessaging，参与开放消息技术标准推广和实践，为包括Apollo、Dubbo、Skywalking、Sentinal、Arthas等顶级开源项目在内的多个项目提出问题、贡献代码及解决方案。

在自主开源方面，360数科技术团队贡献的首个自主开源项目Chronus，在完成内部5个里程碑版本后，无缝支持Dubbo协议、Http及SpringCloud等，致力于成为微服务生态轻量级分布式调度平台。

对此，黄建庭认为，受益于开源，就应该反哺开源，这是每一个技术人都会有的信念。“基于包容、开放的技术行为准则，我们一直在参与开源、自主开源方面发力。从2018年开始，我们在使用过程当中发现一些问题，比如当前的开源项目不完全符合内部的环境或需求，我们就会自己去改，如：对Hadoop生态改进优化超过40处；再比如，发现开源项目里有一些缺陷，我们就会去修复，并回馈到开源项目中，如：近期反馈PR到Apache Doris项目。”

今年6月，Apache Doris成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目，这背后是以360数科为代表的开源社区成员共同努力的结果。“作为开源社区曾经的受益者，我们更希望能够以助力者的身份与其他高科技公司共同携手推动我国计算机技术和高科技企业的发展。”

据了解，360数科将继续应用Doris在实时查询引擎加速、实时数仓、用户画像/标签、RTA等业务场景不断优化。同时公司也将通过分析用户的查询 SQL 特征，结合Doris的查询缓存、物化视图、Doris on Hive等特性，进一步提升查询效率等，以期支撑更多的业务场景、发挥更大价值。

谈及后续规划，黄建庭表示，“未来我们也会考虑全面开源，但不是简单地把系统开源，会充分考虑到开源项目的适用性、通用性等，避免系统的环境依赖、内部依赖、能力依赖，以开放的金融科技创新能力帮助相关公司提升效率、节约资源，同时也不断完善我们开源的系统，进一步推动金融科技底层生态的完善。”

秒级加速质变，Apache Doris与360数科的“化学反应”相关推荐

万亿数据秒级响应，Apache Doris 在360 数科实时数仓中的应用
作者|360数科中间件团队编辑整理|SelectDB 作为以人工智能驱动的金融科技平台,360数科携手金融合作伙伴,为尚未享受到普惠金融服务的优质用户提供个性化的互联网消费金融产品,致力于成为连接用 ...
日增百亿数据，查询结果秒出， Apache Doris 在 360商业化的统一 OLAP 应用实践
导读: 360商业化为助力业务团队更好推进商业化增长,实时数仓共经历了三种模式的演进,分别是 Storm + Druid + MySQL 模式.Flink + Druid + TIDB 的模式以及 ...
应用实践 | 海量数据，秒级分析！Flink+Doris 构建实时数仓方案
作者 : 苏浩业务背景 Advance Intelligence Group(领创集团)成立于 2016 年,是一家以 AI 技术驱动的科技集团,致力于通过科技创新的本地化应用,改造和重塑金融和零售 ...
日均处理 10000+ 工作流实例，Apache DolphinScheduler 在 360 数科的实践
点击上方蓝字关注我们从 2020 年起,360 数科全面将调度系统从 Azkaban 迁移到 Apache DolphinScheduler.作为 DolphinScheduler 的资深用户,3 ...
查询性能较 Trino/Presto 3-10 倍提升！Apache Doris 极速数据湖分析深度解读
从上世纪 90 年代初 Bill Inmon 在<building the Data Warehouse>一书中正式提出数据仓库这一概念,至今已有超过三十年的时间.在最初的概念里,数据仓库 ...
如何基于 Apache Doris 与 Apache Flink 快速构建极速易用的实时数仓
随着大数据应用的不断深入,企业不再满足离线数据加工计算的时效,实时数据需求已成为数据应用新常态.伴随着实时分析需求的不断膨胀,传统的数据架构面临的成本高.实时性无法保证.组件繁冗.运维难度高等问题日益 ...
360数科港交所上市：市值超160亿港元周鸿祎为大股东
雷递网雷建平 11月29日 360数科股份有限公司 (股票代码:3660)今日在港交所主板上市,发行价为50.03港元,募资净额为2.77亿港元. 360数科开盘价为50.6港元,较发行价小幅上涨, ...
应用实践 | 10 亿数据秒级关联，货拉拉基于 Apache Doris 的 OLAP 体系演进
分享人|货拉拉大数据引擎负责人杨秋吉,张斌业务背景货拉拉成立于 2013 年,成长于粤港澳大湾区,是一家从事同城.跨城货运.企业版物流服务.搬家.汽车销售及车后市场服务的互联网物流公司.截至 2 ...
华为大数据战略_华为大数据开源战略部部长陈亮 - Apache CarbonData，实现大数据即席查询秒级响应...
1.实现大数据即席查询秒级响应 2.Liang Chen / 陈亮华为大数据开源开发部Leader Apache CarbonData PMC & CommitterEmail:chenl ...

秒级加速质变，Apache Doris与360数科的“化学反应”

秒级加速质变，Apache Doris与360数科的“化学反应”相关推荐

最新文章

热门文章