数据仓库建模理论总结
1.数据仓库和数据库的区别：数据库是在用户与服务器交互的过程中逐渐完善的，而数据仓库主要是对数据库以及日志数据进一步处理。
2.数据仓库主要分五个层，分别是ODS，DWD，DWS，DWT，ADS层。中文名分别对应原始数据层，数据明细层，数据服务层，数据主题层，数据应用层。
3.数据库采用关系模型，现代数据库中的关系表一般满足三范式，第一范式1NF要求属性满足原子性（不可分割），第二范式2NF要求不存在部份依赖（部分依赖是说表中的某个属性仅仅依赖于主键的一部分，而不是依赖于主键的全部；解决办法就是拆分），第三范式3NF要求不存在传递依赖（传递依赖的例子：学号可以唯一确定院系，院系可以唯一确定院长，学号确定院长就是传递依赖）。
4.数据仓库采用维度模型，维度模型包含事实表和维度表。事实表记录了业务事实，主要包括指向维度表的外键和度量值（统计信息）；维度表主要是对事实表中外键的扩展，都是描述性的信息。
5.上4已经写道，维度建模包括事实表和维度表；但事实表还包括了三种组织方式。第一种事务性事实表，比如订单记录；第二种是周期性快照事实表，对于这种事实表来说，完整的记录不是很重要，重要的是某一个时刻的数据，比如购物车——对于购物车来说，每次的变化不重要，关键是每天结束时用户的购物车里有什么；第三是累积型快照事实表，适合周期性变化的业务，比如订单——订单会经历下单、打包、运输等几个周期。
6.（bilibili 电商数仓V4.0 74节）维度模型也分为三种——星型模型，雪花模型和星座模型；其中，星型模型和雪花模型是基于一张事实表，星座模型是多张事实表，事实表之间可能共用维度表。星型模型和雪花模型的区别主要在于维度表，雪花模型的维度表冗余性更低，更接近3NF（但仅仅是接近）。
7.1ODS层解析。ODS也叫原始数据层，基本上就是把日志数据和数据库里的业务数据提取出来。
7.2DWD层和DIM层解析。DWD的第二个D是detail，所以叫数据明细层。DWD层和DIM层可以说是数仓建模过程中最重要的部分，会构建业务总线矩阵，从而形成事实表和维度表。
7.3DWS和DWT层解析。S是summary，T是topic，所以分别叫数据汇总层和数据主题层。s是按天汇总，t是按多天汇总。这里的汇总其实是以多个维度为主题，分别对事实表的度量值进行聚合计算（比如sum，max，aver这些）。
数据仓库建模理论总结相关推荐
- 数据仓库建模理论及实践-从0到1
目录 1.数据仓库的概念 1.1数据仓库的核心架构 1.2 数据仓库建模的意义 1.2 数据仓库建模方法论 1.2.1 ER模型 1.2.2 维度模型 1.3维度建模之事实表 1.3.1事务事实表 1 ...
- 数据仓库之建模理论以及仓库设计思想
1.数据仓库 1.1.数据仓库概述 数据仓库是一个为数据分析而设计的企业级数据管理系统.数据仓库可集中.整合多个信息源的大量数据,借助数据仓库的分析能力,企业可从数据中获得宝贵的信息进而改进决策.同时 ...
- 数仓理论- 03 数据仓库建模
4 建模 4.1 OLTP系统建模方式 OLTP(Online Transaction Process )在线事务处理,一般业务数据库使用,目的是为业务提供存储以及数据操作,主要是面向数据的随机读写 ...
- 数据分析与数据仓库建模
第一部分 数据分析师现在已经成为了一个热门的职位,高薪的吸引力让很多先要从事这方面工作的人趋之若鹜,各种数据培训课程的开设,但是重点都是在怎么学习算法.怎么进行数据处理,怎么保证通过数据模型可以更好对 ...
- 从0开始学大数据-数据仓库建模
为什么要数据仓库建模 数据模型是数据组织和存储方法,它强调从业务.数据存取和使用角度合理存储数据.有了适合业务和基础数据存储环境的模型,那么大数据就能获得以下好处: 性能:良好的数据模型能帮助我们快速 ...
- 数据仓库建模方法/范式建模法/维度建模法/事实表/维度表/优缺点/建模流程/概念建模/逻辑建模/物理建模
常见的有 范式建模法.维度建模法.实体建模法等,每种方法从本质上将是从不同的角度看待业务中的问题,不管是从技术层面还是从业务层面,都代表了哲学上的一种世界观. 1 范式建模法(Third Normal ...
- 视频教程-数据中台-数据仓库建模设计方法和实现-数据仓库
数据中台-数据仓库建模设计方法和实现 客户包括中国移动等数十个世界五百强客户.长期为中国银行,招商银行,建设银行提供数据库和大数据相关培训服务. 目前担任上海某大数据技术公司CTO. 储成宇 ¥298 ...
- 【数据仓库】数据仓库建模方法及企业数据中台建设
一.数据仓库建模方法 每个行业有自己的模型,但是 不同行业的数据模型,在数据建模的方法上,却都有着共通的基本特点. 什么是数据模型? 数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体 ...
- [电商实时数仓] 数据仓库建模过程分析
文章目录 1.数据仓库概述 1.1 数据仓库概念 1.2 数据仓库核心架构 2.数据仓库建模概述 2.1 数据仓库建模的意义 2.2 数据仓库建模方法论 2.2.1 ER模型 2.2.2 维度模型 3 ...
最新文章
- 自学python方法-零基础初学Python人工智能的四种学习方法
- PHP上传图片到数据库和存储到本地文件夹的方法
- Angular 内容投影 content projection 关于条件渲染问题的单步调试
- 【OS】操作系统运行环境
- gdp笔记本 linux,linux中如何使用微软鼠标的第4、5键
- IEEE 解除华为限制；AWS、谷歌云大规模故障；TypeScript 3.5 发布 | 极客头条
- 使用VMware创建一个虚拟机，并安装乌班图系统
- 网上购物系统设计类图
- 微服务社交平台项目【十次方】（二）-API文档与模拟数据接口
- 实施整体变更控制-管理过程
- 贾俊平统计学思维导图- 第六章 统计量及其抽样分布
- html中的if函数,IF函数的使用方法
- 东田纳西州立大学计算机排名,东田纳西州立大学排名在2020年USNEWS美国最佳综合大学排名第293-381...
- 张铁柱-前端实现《低代码可视化编辑器》(一)思路整理 React-dnd+Ts
- 真的不建议学Python，煞笔才学习Python，学Python难？两个小时足够搞定
- 正则表达式--文本处理神器
- ArcGIS 在洪水灾害普查、风险评估及淹没制图中的实践技术应用
- 专注Windows的博客【2012年度IT博客大赛分类推荐】
- 1026 String of Colorful Beads
- Float.parseFloat()的作用