案例分享|国内某大行澳门分行数据平台案例

2024-06-13 01:59:36

项目背景

澳门某分行原先采用Oracle数据搭建其大数据平台，经过多年使用，现在Oracle已经不能支撑其不断发展的业务。随着数据量上升，现在的大数据库平台数据清洗时间过长，日报经常需要T+2才能展示，月报需要到15号以后才能发布，严重影响了澳门中行的业务开展。

关注问题

该行需要一款能够替代Oracle功能并达到更好性能的数据库，在不进行纵向扩容的前提下，通过资源横向扩展来实现性能提升，最大限度的减少系统建设成本，实现“低投入、高产出”的效果。

建设要求

l 数据库必须支持横向扩展；

l 支持在线的扩容/缩容；

l 支持Oracle窗口函数、分析型函数；

l 提供一键式的数据迁移工具；

l 支持去中心化部署，系统没有单点故障和单点性能瓶颈；

l 系统支持PB以上结构化数据的承载和分析能力。

我方为客户提供GBase 8a MPP Cluster数据仓库，共部署6个集群节点，采用节点数据高可用机制，每个节点包含一个主分片，并同时保存其他节点的两个备片。

集群各节点间通过万兆以太网交换机互联，用于数据加载和节点间数据交换；集群通过万兆网及双网卡主备模式绑定对外提供客户端访问服务。

6个节点中，每个节点均部署coor与data，一主两备（p 1 d 2），这样每个节点包含一个主分片及两个备份分片，在兼顾集群空间利用的情况下（17T * 6 * 5 / 2 = 255T），达到集群的高可用性的要求。

实施情况

我司为客户完成了6个节点的GBase 8a MPP集群的搭建，并提供监控系统以便客户方便的进行集群状态的监控和运维。

通过完成集群搭建和配置，完成了数据一主两备的部署模式，同时coor与data节点均部署6个，可实现任何节点宕机后集群功能不受影响同时性能仅下降1/6。

效果及价值

本项目大幅度提升了客户的大数据分析能力：

l 通过此次项目实施，系统性能较Oracle环境跑批时间仅为原先的1/20，系统性能提升超过10倍。

l 原系统复杂业务原跑批时间4小时，新平台仅为20分钟。

l 原Oracle环境需要采用基于DG的oracle高可用机制，同时仅一台服务器提供服务，另一台为备份，新系统可进行全集群的交叉备份，运行时全部六台机器均参与计算，最大限度的发挥整个集群性能。

l 系统彻底避免了单节点故障，使整个系统高可用能力上升到了一个新的阶段。

案例分享|国内某大行澳门分行数据平台案例相关推荐

案例分享|国内某大行数据平台案例
1.项目背景近年来,随着大数据时代的到来,中行的数据规模增长迅速,数据来源.形态也呈多样化趋势,对于海量数据的多层次.高时效分析挖掘需求日益增加. 当前,国内银行业采用基于开放X86的MPP架构数据 ...
2021国内十大正规外汇投资理财app平台排行榜
随着国内金融市场对外开放的步伐加快,外汇逐渐成为一种时尚的投资.近两年国内外汇交易以年均70%以上的速度增长,外汇经纪商.从业人员和市场规模.投资者数量,正在以井喷的态势,强势崛起,外汇将会成为未来长 ...
房地产集团数据平台案例
房地产集团数据平台案例项目背景某房地产集团随着业务的发展,用户数量增加,ERP系统的更换与数据源的增加,旧的数据平台暴露出明显的问题. 01 数据不够全面目前主要集中在资管.品牌数据 02 数据 ...
案例 | 看某国有大行如何构建内部数据安全风险管控核心能力
作为国民经济命脉,银行等金融机构的业务数据是银行最本质.最核心.最关键的生产要素,其安全与否事关公民个人权益与社会稳定.在此情况下,某国有大行携手美创科技,利用美创数据库防水坝以及美创数据库防泄漏系统 ...
案例分享：Qt西门子机床人机界面以及数据看板定制（西门子通讯，mysql数据库，生产信息，参数信息，信息化看板，权限控制，播放器，二维图表，参数调试界面）
若该文为原创文章,转载请注明原文出处本文章博客地址:https://blog.csdn.net/qq21497936/article/details/118685521 长期持续带来更多项目与技术分 ...
“最强大脑”智慧检务如何落地？最佳智慧检务大数据平台案例！
前几年,被称为史上最大尺度的正剧<人民的名义>刷爆了各大社交平台.除了剧情.演员之外,剧中检察院使用的黑科技也成为人们热议的话题.其实,在现实中,检察机关也凭借智慧检务开启了检察信息化的 ...
案例分享|国内某资金清算中心
1.项目背景为了满足各种业务需求,大部分数据中心所使用的硬件和软件随着时间的推移都已变得杂乱无章.该客户数据中心由不同的服务器和存储孤岛组成,还包括将所有内容集成在一起的复杂软件组合. 2.关注问题 ...
python创意实用案例-分享10个给Python小白看的实用案例，入门Python就在这里了
图片来源:包图网今天给大家分享十个Python入门级别的小案例. 这十个案例的难度不高,但是对于知识的使用非常全面,很适合小白在学习的初期建立学习信心和增加熟练度. 每个案例下都有或多或少的思路分析 ...
股票期货量化数据文档大全覆盖国内6大交易的史数据和实时行情
原股票期货量化数据文档大全,覆盖国内6大交易所的历史数据和实时行情一.基础数据目前掘金支持上交所, 深交所的股票, 中金所, 上期所, 大商所, 郑商所的期货, 交易标的查询. 可使用get_i ...

最新文章

热门文章