5.业务架构·应用架构·数据架构实战 --- 业务驱动的数据架构设计

第5章 业务驱动的数据架构设计
5.1 什么是数据架构（DA） 数据架构是通过对企业战略得到的数据资产管理蓝图。具体而言，该蓝图用于指导如何分析数据需求，如何做好相应设计。数据架构描述企业的：1)主要数据类型及其来源；2)逻辑数据资产；3)物理数据资产；4)数据管理资产；5)上述所有内容的结构和交互综上可见：1.数据架构的终极目标，是支撑战略2.数据架构的具体内容包括数据需求，数据设计，数据管理这三大块3.其中数据设计的内容，远远超过了数据模型设计，一般包括数据模型设计，数据存储设计，数据流设计数据架构的设计内容可以总结为五大方面： 1.数据类型及来源2.数据模型3.数据存储4.数据流5.数据管理5.2 数据架构在全球的快速发展 【技术】从OLTP，到BI，到BigData数据库=文件+存取引擎+编程API【管理】从"数据架构"到"企业数据管理"5.3 解读TOGAF的数据架构方法 【1】DA设计内容在TOGAF中，列举了如下目标数据架构设计内容：1.定义业务数据模型2.定义逻辑数据模型3.确定数据满足业务4.定义数据交换格式5.规定数据管理过程6.编写相关架构文档【2】DA设计步骤1.确定设计哪些视点2.开发基线数据架构3.开发目标数据架构4.进行差距分析5.识别能力增量6.架构影响评估7.干系人评审8.敲定数据架构9.创建架构文档TOGAF推荐的数据架构设计过程如下： 1.分析业务与应用需求2.定义合理的数据需求3.数据模型设计4.数据生命周期，数据流，数据接口，数据存储设计5.4 实践攻略：数据架构的实际工作内容 【落地】实际的数据架构内容模型数据战略：1.需求数据类型及其来源(生产库，历史库，BI库，主数据，参考数据)(文本，日志，邮件，图片，声音，视频，IM，帖子，网页，位置，传感器)(元数据)2.设计逻辑模型(数据模型，数据生命周期)物理存储及其分布(数据存储，数据分布)数据流(数据流，数据沿袭，数据交换格式)3.管理数据管理(数据标准，数据质量，数据安全)【要点】数据需求=需要管理哪些数据类型需求规定做什么，设计规定怎么做。数据架构整个规划和设计过程，最重要的一点就是要做什么，即做好数据需求的分析。1.根据不同领域的业务需求，要识别生产库，历史库，BI库对应的数据类型。2.要做跨部门跨业务的分析，识别主数据对应的数据类型。3.大数据风潮已来，每个企业都在探索大数据的深度应用场景。这就需要识别类型广泛的非结构化数据和半结构化数据。【要点】静态设计=逻辑数据模型+物理存储与分布数据架构的静态设计方面，总的来说包括4点：1.数据模型设计2.数据生命周期设计3.数据存储策略设计4.数据分布策略设计逻辑数据模型，一般采用ER图设计。它和具体的物理数据模型独立，可以映射成不同的物理结构。在设计数据模型的同时设计数据生命周期。【要点】动态设计=数据流+数据沿袭+数据接口数据架构的动态设计包含3点：1.数据流 --- 定义数据传递与使用路径2.数据沿袭 --- BI 领域多见数据的抽取，转换，装载，清洗，脱敏，而数据沿袭用于明确数据和数据源头之间的追踪关系3.数据接口 --- 定义数据交换格式【要点】数据管理=数据标准+数据质量+数据安全数据管理包括：1.数据标准是指保证数据定义和使用的 一致性，准确性和完整性的规范性约束。例如，对企业数据的分类标准；数据的命名，数据类型，长度，业务含义，计算口径，归属部门等统一规范；数据质量标准。在数据标准中，规定数据的类型或数据域的划分最为常见。2.数据质量数据质量是围绕数据标准展开的检查，分析，提升工作，一个企业如果没有数据标准，它可怎么管理数据质量呢。3.数据安全数据安全包括 数据安全标准与策略，数据安全管理规范，数据安全审计规范等。其中<<数据安全标准>>可以认为是<<数据标准>>的子集，包含横跨技术维，系统维，管理维等数据安全规定。5.5 实践攻略：业务驱动的数据架构设计步骤 【落地】设计步骤业务驱动，落地的数据架构设计过程：1.上接业务分析数据需求，识别数据类型。2.静态设计设计数据模型，定义生命周期。规划数据存储，设计数据分布。3.动态设计数据流，数据沿袭，数据交换格式设计。4.数据管理根据需要，定义数据标准，数据质量，数据安全等规程。【揭秘】业务驱动的数据建模数据模型是数据架构的核心。数据建模是业务驱动的。业务是果，数据是因，业务驱动就是以果导因。不同粒度的业务定义能驱动不同粒度的数据建模：1.业务主题，业务域【巨粒度】 --- 发现数据域2.业务流程【粗粒度】 --- 发现数据实体，属性，关系3.功能、特性【中粒度】 --- 细化数据实体，属性，关系4.业务规则【细粒度】 --- 细化数据实体，属性，关系5.6 实践案例：电商系统——业务驱动的数据建模串讲 【1】巨粒度 --- 业务主题驱动的数据建模UC 矩阵可以作为发现数据域，识别数据类型的主力工具 --- 为数据建模"打头炮"。它的纵横两维：1.每行 --- 代表一个巨粒度的业务主题或者业务功能域2.每列 --- 代表一个巨粒度的数据域C 代表创建(Create)，U 代表使用(Use)。【2】粗粒度 --- 业务流程驱动的数据建模业务域包含一组业务功能，而每个业务功能都由业务流程来实现和支撑。此时，就该让业务流程驱动数据实体，属性，关系的发现了。业务流程驱动的数据建模能否成功，依赖于"完整的主干流程+穷举了分支流程"这个条件是否满足。【3】中粒度 --- 功能特性驱动的数据建模功能特性更细粒度一些。或者说，业务流程说到底还是围绕业务，而功能特性却是"业务能力+系统能力"无所不包。所以，功能特性提供了更多的信息量。功能特性驱动的数据建模，用于推动数据实体，属性，关系模型的优化。【4】细粒度 --- 业务规则驱动的数据建模数据建模还没结束，因为还有数不胜数的业务规则需要支持，有的业务规则需要特定的数据模型的支持才能实现。所以，接下来架构师要做的，就是明确业务规则，并逐条确认数据模型是否支持它。相反，数据建模若是缺乏了业务规则驱动这一环，结果只能是模型不完整，模型质量差，研发后期不断"擦屁股"，改模型，改程序。5.7 实践案例：数字化服务转型——分析数据需求，识别数据类型 【推进】数据架构设计的起跑线数据架构设计是业务驱动的，数据架构师的第一步工作是分析数据需求，识别数据类型。全面识别数据类型，具体做法有二：1.认真的做法 --- 用UC矩阵，细细梳理每个业务功能产生什么数据，消费什么数据。2.粗犷的做法 --- 直接将业务功能域借过来当做数据域，分析每个数据域需要的数据类型。【推进】识别结构化数据类型【推进】识别非结构化数据类型5.8 实践案例：数字化服务转型——设计数据模型，定义生命周期 【推进】设计票源库数据模型1.功能分析2.设计构想3.设计模型4.设计思想【推进】评价模型的优缺点【推进】设计生命周期，解决问题5.9 实践案例：数字化服务转型——抢到票后死机，怎么处理 抢到票后，后台立即生成订单。支持用户换终端完成支付。5.10 实践案例：数字化服务转型——规划数据存储，设计数据分布 先将生产数据与历史数据分离，再将结构化数据与非结构化数据分离，将音频等文件单独保存，在接线记录数据库表里保存其地址。5.11 实践案例：数字化服务转型——数据流、数据沿袭、数据交换格式设计

5.业务架构·应用架构·数据架构实战 --- 业务驱动的数据架构设计相关推荐

R语言使用ggplot2同时可视化dataframe的多个数据列实战：多个数据列可视化在同一个图中、多个数据列可视化在多个图中（纵向多个子图）
R语言使用ggplot2同时可视化dataframe的多个数据列实战:多个数据列可视化在同一个图中.多个数据列可视化在多个图中(纵向多个子图) 目录
数据中台实战入门篇：数据中台对内、对外合作机制
前言之前文章讲了 <数据中台实战入门篇:双中台战略>,主要解决了什么是中台.什么是数据中台.业务中台.什么公司适合搭建双中台体系这几个问题.本篇文章讲一下数据中台的人员构成.内部如何合作 ...
python 获取网页表格数据_python实战4获取tushare数据
python 4 实战4 获取Tushare数据阅读之前请注意: 代码都为红色.由于公众号宽度不够,没有特别注明,即使换行都是同一句代码,中间没有换行符.如果是两行代码,会用空行隔开. SQL语句请 ...
大数据项目实战——基于某招聘网站进行数据采集及数据分析（四）
大数据项目实战第四章数据预处理文章目录大数据项目实战学习目标一.分析预处理数据 1)salary 2)city 3)skillLabels 4)companyLabelList.posit ...
R语言数据包自带数据集之ISwR包的melanom数据集字段解释、数据导入实战
R语言数据包自带数据集之ISwR包的melanom数据集字段解释.数据导入实战目录 R语言数据包自带数据集之ISwR包的melanom数据集字段解释.数据导入实战 #数据字段说明 #导入包 #导入数 ...
R语言数据包自带数据集之survival包的lung数据集字段解释、数据导入实战
R语言数据包自带数据集之survival包的lung数据集字段解释.数据导入实战目录 R语言数据包自带数据集之survival包的lung数据集字段解释.数据导入实战 #数据字段说明 #导入包 #导 ...
R语言数据包自带数据集之ToothGrowth数据集字段解释、数据导入实战
R语言数据包自带数据集之ToothGrowth数据集字段解释.数据导入实战目录 R语言数据包自带数据集之ToothGrowth数据集字段解释.数据导入实战 #数据字段说明 #导入包 #导入数据 #数 ...
R语言数据包自带数据集之mtcars数据集字段解释、数据导入实战
R语言数据包自带数据集之mtcars数据集字段解释.数据导入实战目录 R语言数据包自带数据集之mtcars数据集字段解释.数据导入实战 #会用帮助?或者help函数 #字段说明 #导入包 #导入数据 ...
《企业大数据系统构建实战：技术、架构、实施与应用》——第3章企业大数据解决方案 3.1 企业大数据解决方案实现方式...
本节书摘来自华章计算机<企业大数据系统构建实战:技术.架构.实施与应用>一书中的第3章,第3.1节,作者吕兆星郑传峰宋天龙杨晓鹏,更多章节内容可以访问云栖社区"华章计算机 ...
《离线和实时大数据开发实战》（二）大数据平台架构技术概览
前言接着上一章构建大数据开发知识体系图谱,本次继续分享邦中老师的<离线和实时大数据开发实战>读书笔记 .到底什么样的平台才能算是大数据平台呢?带着这个问题,我们开始今天的内容 ( •̀ ...

5.业务架构·应用架构·数据架构实战 --- 业务驱动的数据架构设计

5.业务架构·应用架构·数据架构实战 --- 业务驱动的数据架构设计相关推荐

最新文章

热门文章