数据时代，漫谈数据建模

不管什么样的模型都可以理解为一种预设，比如像一张大宽表，它的维度和指标在大宽表中就是固定的，只是维度列多一些，指标多一些，给了用户更多的一种组合维度和指标的可能，并不是说就没有模型的概念。

在理解了这个概念之后，我们再来讲下什么是商业智能BI的前端建模和后端建模，它们有什么区别和联系。

可视化分析 - 派可数据商业智能BI可视化分析平台

什么是数据模型

数据模型是现实世界或业务逻辑在数据层面的投影，是将数据元素以标准化的模式组织起来，用来模拟现实世界的信息框架和蓝图。

商业智能BI的前端建模

商业智能BI的前端建模可以理解为我们通过BI的前端可视化分析工具来完成数据分析的建模过程。

一种方式是加载一些文本文件比如常用的EXCEL表，可以将文本类型的字段自动转化成分析的维度Dimension，将数值类型的自动转化为被分析的数据就是度量Measure，用户就可以通过BI分析工具自由的拖拉拽完成维度和度量的组合，进行数据的可视化展示或者分析，这种维度和度量的这种组合就构成了一个最简单的分析模型。

商业智能BI的后端建模

那么在数据仓库中建模的方式就叫后端建模，就是在数据仓库中预先把维度表Dimension Table和事实表Fact Table 先处理好存储起来，这些维度表和事实表本身就可以通过维度字段的关联形成星型和雪花型模型。

星型模型 - 派可数据商业智能BI可视化分析平台

雪花型模型 - 派可数据商业智能BI可视化分析平台

在构成维度表和事实表之前，底层的ETL要做大量的数据抽取、转化和加载的工作，这也是整个BI项目建设的核心，开发工作量最大的一部分，差不多要占到项目开发80%左右的时间和精力。

商业智能BI项目架构

所以，一个企业级的、完整的最佳实践的BI项目架构应该是什么样的？就是利用BI数据仓库的建模，即后端建模将大部分的、标准的、高度可复用的分析模型预先设计好沉淀出来，形成标准的维度和事实表存储起来。

可视化分析 - 派可数据商业智能BI可视化分析平台

之后再通过BI前端可视化分析工具来连接到数据仓库数据库，访问这些可以构成各种分析模型的表，进行可视化分析。遇到特别的分析场景，底层数据仓库的后端模型不能够满足分析场景需要的时候，就可以借助商业智能BI可视化工具的前端建模能力来扩展一些分析模型，完成前端建模和可视化分析的工作。

数据模型的作用

方便人与人之间信息的传递和沟通。

方便人们通过数据模型去理解现实世界。

计算机通过算法模型、规则模型，可以预测客观虚拟事物的发展或轨迹。

现实世界的虚拟事物，抽象到信息世界逻辑模型，再转换成计算机世界的数据模型，而计算机能够存储和识别的是物理模型。

可视化分析 - 派可数据商业智能BI可视化分析平台

数据模型的用途

以一种结构化、方便理解特定事实的组织方式呈现给人，比如BI模型、分析模型。

帮助更好的理解业务，比如业务模型、概念模型、领域模型、逻辑模型。

根据对样本数据或人的经验猜想，构建模型，去预测其它同类事物或场景，比如算法模型。

将现实世界的信息转化成数据模型，呈现给计算机，可以用于存储或计算，比如物理数据存储模型

根据数据模型用途的不同，建模方法也大相径庭。所以我们在做数据建模前，一定要先想清楚所建模型的具体用途和场景。

我们所说的数仓建模，实际上就是构建一种数据存储模型，用于结构化存储我们日常业务行为或信息化系统存储下来有价值的数据。

数据仓库 - 派可数据商业智能BI可视化分析平台

数据建模的意义

降低的存储成本，同时提高的查询效率

可以清晰明了的数据结构方便理解和使用

简化了ETL的处理逻辑

为数据质量提供保障，包括数据的一致性、准确性、完整性、时效性

可以更灵活的应对变化并且可以满足客户需求

数据时代，漫谈数据建模相关推荐

【2016年第3期】大数据时代的数据科学家培养
朱扬勇1,2,熊贇1,2 1.复旦大学计算机科学技术学院,上海 200433:2.上海市数据科学重点实验室,上海 200433 摘要:大数据时代,最热门的职业是数据科学家(data scienti ...
大数据时代的数据价值与利用
大数据时代的数据价值与利用随着信息技术的发展,生活发生了天翻地覆的变化,同时,它也改变着人们的思维模式. 现在我们之所以能接触到如此多的信息,是得益于网络技术与数据存储技术的发展.而要管理和利用这些 ...
大数据时代的数据特点与大数据时代处理数据理念的改变
1.大数据时代的数据特点 (4V) 1.1 规模性(Volume):即大数据具有相当的规模,其数据量非常巨大.数据的数量级别可划分为B .KB .MB .GB .TB .PB .EB .ZB 等,而数 ...
大数据时代：数据即信用，信用即数据
大数据时代:数据即信用,信用即数据数据的联通,让人们日常生活.工作中的各种行为彼此相连.互相印证. 天地万物中,人最难管,有道是:人心似海. 例如,在火车上如何有效的约束抽烟者就一直是个难题. 绿皮 ...
大数据时代的数据存储，非关系型数据库MongoDB（一）(转)
出处:http://www.cnblogs.com/mokafamily/p/4076954.html 爆炸式发展的NoSQL技术在过去的很长一段时间中,关系型数据库(Relational Data ...
大数据时代，数据实时同步解决方案的思考—最全的数据同步总结
1. 早期关系型数据库之间的数据同步 1).全量同步比如从oracle数据库中同步一张表的数据到Mysql中,通常的做法就是分页查询源端的表,然后通过 jdbc的batch 方式插入到目标表,这个 ...
青岛企业掘金大数据时代大数据时代已经来临
大数据时代已经来临,影响着人们的生活.工作与思想.对企业发展来说,大数据更是一座亟待发掘的宝藏.记者近日在采访中发现,岛城的部分企业已开始利用大数据,进行产品和经营的变革,在激烈的市场竞争中抢得了先机 ...
我们处于大数据时代，数据是从哪里来的？
目录 1.爬虫是用来干什么的? 2.在大数据时代,我们的数据从哪来? 途径1:企业产生的数据百度指数阿里指数腾讯浏览指数新浪微博指数途径2:从数据平台购买数据数据堂国云数据市场贵阳大数 ...
大数据时代，数据如何助力营销，为企业赋能
数据营销指的是在多服务平台大量信息和互联网技术的根基上,一种运用于网络广告领域的营销方法.互联网营销的关键取决于让互联网广告在适宜的时间,根据适宜的媒介和适宜的形式推广给适合的人. 互联网时代,客户日 ...
大数据时代：数据质量逐渐成关注焦点
当"大数据"和"高性能数据分析"这些词汇成为SAS 2011年度分析系列会议的流行语时,与会者表示,目前主要的分析障碍仍然可以概括为一个词:数据质量. 这个问题 ...

数据时代，漫谈数据建模

数据时代，漫谈数据建模相关推荐

最新文章

热门文章