基础数据平台迁移大数据平台的一些参考
背景
1.基础数据平台能力诉求:业务迅速增长，业务数据量不断膨胀，重要业务场景越来越多，对于基础数据平台的服务和支持能力提出了更高的要求。
2.数据时效诉求：业务部门经营分析、决策支持对数据时效要求越来越高。
3.计算、存储资源瓶颈： Oracle一体机存储和计算资源存在瓶颈（有效空间140TB，已使用空间132TB），始终保持约90%高水位运行
设备老旧：Oracle一体机硬件设备已使用7至10年，接近或超过8年强制替换周期，存在设备老旧故障率升高的风险
原厂支持服务结束：Oracle一体机上Oracle数据库版本为12.2.0.1，原厂支持服务于2022年3月结束，后续无新增补丁存在运行风险
软硬件维保策略风险： Oracle一体机原厂软硬件维保策略存在风险，2022年Oracle表示不再单独销售开发测试环境一体机软件维保
4.信创工作规划：基于国产软硬件基础设施，搭建自主可控大数据平台，实现数据的整合、加工、共享，对海量结构化和非结构化数据的存储、加工及访问。
目标:
1.实现Oracle一体机到大数据平台的技术栈切换
2.缓解我行在用的Oracle一体机运维风险。
3.高可用、弹性扩展的系统架构，支持在线扩容，在线升级
架构设计:
1.架构定位与原来保持一致,基于大数据平台重构
2.基础层改造：原ODS的表,配合改造从基础层O层取数进行加工;数仓的表,配合改造从整合层I取数加工；集市的表,通过集群间授权进行访问.
3.时效提高：结合大数据技术生态特性，针对时效要求高的重要业务场景贴源数据加工，如开业报表、零售有效户等，提高时效性
方案:
1.应用主题分类 结合大数据平台整合层数据主题组织方式，重新梳理集市的数据输出，面向主题对集市进行归纳、分类，整理成一级主题、二级主题，三级主题，整体划分为5个一级主题、12个二级主题、51个三级主题。
2.部分报表改从其他系统取数,不进行迁移
3.迁移映射 3层变为4层,基础层—加工层—应用层贴源层->贴源层、整合层、加工层、应用层
4.生命周期保留策略管理 对一些特殊场景的，有使用一年的历史数据，需保留。
5.技术栈切换设计 应用迁移,数据迁移,开发和测试,投产验证(主健比对、记录数比对、全字段比对),并行切换(并行三个月，分批下游切换)
性能:
1.存储容量： Oracle一体机集市目前有7T表空间，预留30%业务增长空间，（表与数据文件）压缩比为1:7；新FI集群按两副本存储，压缩比1:2；大数据单节点可存储36T, 所以需要7*1.3/7/2/(36/2)≈2台（BDS型号物理机）
2.计算资源：当前旧FI集群运行流程3.6万个，CPU共4.4万核，平均消耗的CPU=3.6/4.4 ≈ 1.2核/每个流程。共迁移664个流程，需要CPU=664*1.2 ≈ 797核，每台BDS服务器80核，因此需要大数据节点服务器为797/80≈10台。
3.保障措施 a.资源隔离 b.批次规划
经费:
1.主办应用系统实施费用
2.关联应用系统实施费用
3.软件费用
4.硬件费用
基础数据平台迁移大数据平台的一些参考相关推荐
- 【Workshshop No.3 | Kyligence X 青云QingCloud Workshop】零基础搭建云上大数据平台
7月13日Kyligence 与青云QingCloud 联合举办的"零基础搭建云上大数据平台" Workshop诚邀您参加. Kyligence Cloud 是 Kyligence ...
- 实战分享：从京东618数据井喷看大数据平台峰值处理制胜关键
一.大数据综述 随着DT(数据技术)时代的到来,人们能比以往更容易地获取更丰富的数据.数据作为一种新的能源形式,正在源源不断地发挥其巨大的价值,帮助我们激发更多的技术驱动力,提供更优质的服务. 在京东 ...
- 数据平台、大数据平台、数据中台……傻傻分不清？这次终于有人讲明白了！
来源 | 智领云科技 造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏.各有趣味.近年来,数据中台之火爆,什么数据 ...
- 数据平台、大数据平台、数据中台……还分的清不？
造概念,在IT行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩,真正做到雅俗共赏.各有趣味.近年来,数据中台之火爆,什么数据平台.数据中台.数据湖 ...
- 大数据平台搭建_一文读懂数据平台、大数据平台、数据中台
作者 | June 来源 | 智领云科技(ID:LinkTimeCloud) 造概念,在 IT 行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩, ...
- 一文读懂数据平台、大数据平台、数据中台
作者 | June 来源 | 智领云科技(ID:LinkTimeCloud) 造概念,在 IT 行业可不是一件陌生的事儿,中文博大精深,新名词.新概念往往简单准确,既可以被大众接受,又可以被专家把玩, ...
- 什么是大数据平台和大数据
"大数据"时下一个热门的词语,近几年来,关于大数据的著作和文章铺天盖地,似乎也在共同在传递一个信息:越来越多的行业.人士开始关注并实际探索大数据的应用,我们正在一起描绘着大数据巨大 ...
- 数加平台——阿里大数据OS实践
在云栖计算之旅第5期--大数据与人工智能大会上,阿里云大数据事业部数加平台技术负责人陈廷梁从数加定义.起源.愿景.价值.架构.规划六个方面分享了<数加平台--阿里大数据OS实践>.其中,他 ...
- 谈B2B电商平台与大数据
数据为王,服务为本--谈B2B电商平台与大数据 2013-06-27 11:10:41 作者:B2B行业资讯 标签: 大数据 ...
最新文章
- HTMLTestRunner加入logging输出
- Python 案例001 （有四个数字：1、2、3、4，能组成多少个互不相同且无重复数字的三位数）...
- 几个C#关于Html解析的类
- leetcode(90)子集 2
- nginx编译安装和yum安装那个更好？
- 虚拟机用Linux安装软件
- sql注入之——sql注入防御方法
- kali linux ap热点,Kali（debian）创建WIFI AP热点
- 2018中国开源开发者调查问卷
- C#大文件上传支持切片上传
- android 开发者论坛
- 学人工智能就业前景怎么样？学AI有前途吗？
- git merge覆盖当前分支
- Removing Propagation Redundant Constraints in Redundant Modeling 翻译（一）
- wacom数位板驱动安装
- 海豚php框架论坛,单选-海豚PHP1.0.6完全开发手册-基于ThinkPHP5.0.10的快速开发框架...
- 进销存是什么意思？值得推荐的进销存软件有哪些？
- 山东大学软件学院人工智能导论（考试）——期末考试回忆版
- linux设置rx8010时间,EPSON 实时时钟芯片RX-8010SJ Application Manual应用手册.pdf
- linux和windows双系统互拷文件乱码问题,linux和windows双系统互拷文件乱码问题