数据仓库建设之六脉神剑
本文来自网易云社区。
数据仓库作为企业提供决策支持而构建的集成化数据环境,本身并不产生或者消费数据,基本架构包含的是数据流入流出的过程,首先放上一张数据仓库的架构图。数据仓库作为中间集成化数据管理的一个平台,底层有多种数据来源,流入数据仓库之后对上层应用开放。
1、分析业务需求,确定数据仓库主题
数据模型的创建依赖数据仓库主题的确定,在搭建数据仓库之前,首先就是要充分了解业务部门的问题需求,明确我们所要创建的数据仓库真正可以解决的问题,在多次沟通的前提下,可以准确的确定系统能够实现的功能。在这个过程中,基于双方理解问题的不同,还需要我们对需求做出一些原型的演示,避免理解上的分歧。
需要做到包括:从业务方需求中提取出重要的业务数据主题,并对业务数据主题进行详细的解释;对提取出的业务数据主题进行主题域的划分,并对主题域进行详细的解释;根据主题域的划分,对内部的组织结构和业务关系细节化,构建出主题域的概念模型。
2、构建逻辑模型
在概念模型的基础上,对其进行进一步的细化和分解,通过实体和实体之间的关系描述业务的需求和系统实现的技术领域。逻辑模型的构建在数据仓库的实施中最为重要,是业务需求人员和技术人员进行沟通的桥梁和平台,能够直接反映业务部门实际的需求和对业务的规划,同时对下面物理模型的构建也具有指导意义。逻辑模型通过实体与实体之间的关系勾勒出了整个业务部门的数据蓝图和规划。
逻辑模型主要关注细节性的业务规则,同时也需要解决每个主题域包含的概念范畴和跨主题域的集成和共享问题,构建的步骤一般包括:分析需求,列出需要分析的主题,明确需求目标、维度指标、分析的指标、分析的方法、数据的来源以及需要关注的对象等;选择用户感兴趣的数据,通过业务需求将需要分析的指标分离抽取出来,转换为实体;在实体中增加时间戳属性;考虑粒度层次的划分,粒度决定了数据仓库的实现方式、性能、灵活性以及数据仓库的数据量;在粒度层次划分的基础上,进行关系模式的定义,关系模式一般采取第三范式的特点进行定义;同时在逻辑模型的基础上对实体的属性、属性的值域等信息进行明确、完善和细化,保证真实的反映业务的逻辑关系和业务的规则。
3、逻辑模型转换为物理模型
基于逻辑模型,接下来就是为应用环境选择一个合适的物理结构,包括合适的存储结构以及合适的存储方法。将逻辑模型转换为物理模型主要包括:实体名转换为表名;属性名转换为列名,并且确定列的属性;在物理模型的创建过程中,必须要对列的属性进行明确,包括列名、数据类型、是否是空值以及长度等。确定物理模型之后,对于数据的存放位置和存储空间的分配等也需要进行规划。
4、数据源接入
在数据仓库的建立之前,需采集底层多种数据源数据,明确数据源中的数据种类,采用合适的工具。比如,Flume NG作为实时日志收集系统,支持在日志系统中定制各类数据发送方,用于收集数据,同时,对数据进行简单处理,并写到各种数据接收方;NDC,Netease Data Canal,直译为网易数据运河系统,可以实现结构化数据库的数据实时迁移;Sqoop可以将关系型数据库中的数据导入到平台中;Logstash作为开源的服务端数据处理管道,也可以轻松的将日志、WEB应用等数据采集到平台中。
5、数据存储清洗和转换
对数据进行清洗和转换,保证进入到数据仓库中的数据的一致性。结合业务需求,采用合适的数据清洗转换工具。
6、对接BI,数据展示
为业务部门选择合适的工具实现对数据仓库中的数据进行分析的目的,正确清晰的展现用户的功能需求。
数据仓库搭建成功之后,还需对其安全性、备份恢复等方面进行管理。
利益相关:网易云打造的大数据平台,能够提供更好的建设方案,欢迎免费试用。
网易有数 则定位于敏捷数据可视化分析平台,可便捷地嵌入企业经营的业务模块,且面对不同客户的需求提供定制化服务,数据分析效率最高提升80%。
网易猛犸是一个大数据应用开发与数据管理平台,覆盖了数据传输、计算及作业流调度等多个环节,日处理数据量达到 PB 级。
原文:如何建设数据仓库?
转载于:https://www.cnblogs.com/163yun/p/9365893.html
数据仓库建设之六脉神剑相关推荐
- 6000字详解数据仓库建设
01 前言 互联网行业,除了数据量大之外,业务时效性要求也很高,甚至很多是要求实时的.另外,互联网行业的业务变化非常快,不可能像传统行业一样,可以使用自顶向下的方法建立数据仓库,一劳永逸,它要求新的业 ...
- hive数据仓库建设
hive数据仓库建设 1.设计原生日志表 原生日志表用来存放上报的原始日志,数据经过清洗加工后会进入到各个日志表中. 1.1 创建数据库 #创建数据库 $hive>create database ...
- 数据仓库建设从0到1-一文带你深入建设金融数仓体系
前言 本文讲述了金融数据仓库从无到有的整体设计思路,以及对数据建模.质量控制.元数据管理及开发规范各方面的经验思考,希望对大家在数仓建设工作方面有所帮助. 背景 自2018年以来,随着业务体系的不断丰 ...
- 浅谈数据仓库建设中的数据建模方法
http://www.ibm.com/developerworks/cn/data/library/techarticles/dm-0803zhousb/ 所谓水无定势,兵无常法.不同的行业,有不同行 ...
- 数据仓库建设中的数据建模方法(转)
简介: 本文的主要内容不是介绍现有的比较流行的主要行业的一些数据模型,而是将笔者在数据仓库建设项目中的一些经验,在这里分享给大家.希望帮助大家在数据仓库项目建设中总结出一套能够合乎目前业界规范的,满足 ...
- 美团点评酒旅数据仓库建设实践
在美团点评酒旅事业群内,业务由传统的团购形式转向预订.直连等更加丰富的产品形式,业务系统也在迅速的迭代变化,这些都对数据仓库的扩展性.稳定性.易用性提出了更高要求.对此,我们采取了分层次.分主题的方式 ...
- 数据建模_浅谈数据仓库建设中的数据建模方法
所谓水无定势,兵无常法.不同的行业,有不同行业的特点,因此,从业务角度看,其相应的数据模型是千差万别的.目前业界较为主流的是数据仓库厂商主要是 IBM 和 NCR,这两家公司的除了能够提供较为强大的数 ...
- 数据仓库建设---数据建模
首先我们先查看三个问题:①什么是数据模型:②为什么需要数据模型:③如何创建数据模型: 一.什么是数据模型 数据模型是抽象描述现实世界的一种工具和方法,是通过抽象的实体及实体之间联系的形式,来表示现实世 ...
- 银行数据仓库体系实践_【实战剖析】某国际性商业银行的数据仓库建设经验分享...
原标题:[实战剖析]某国际性商业银行的数据仓库建设经验分享 编者按 全面的信息体系架构,是支持商业银行战略决策.经营管理和风险控制的坚实基础.在中国科学院大学金融科技研究中心主任.吉贝克董事长刘世平博 ...
最新文章
- 2022-2028年中国农用塑料薄膜行业市场研究及前瞻分析报告
- 译: 5. RabbitMQ Spring AMQP 之 Topic 主题
- 《TCP/IP图解》读书笔记
- 新的旅程:NodeJS - 环境篇
- 计算机主机清理步骤,怎么清理主机灰尘 清理灰尘教程
- vue 使用sass 和less
- pytest文档3-pycharm运行pytest
- Git环境搭建与基本使用方法 (转自http://blog.csdn.net/fireelement/article/details/9618363)
- html语言书写注意事项,HTML注意事项(学习笔记)
- Yii2.0修改默认控制器
- 没有lrzsz,怎么传文件到服务器?
- Windows下vim方式操作软件+Gvim使用
- h5页面分享一(附源码)
- C/C++获取CPU等硬件信息屏幕截图
- [手机Linux]一,线刷小米6到开发版,获取root权限
- 使用vba宏/python代码更新word目录——只更新页码
- 学计算机的是不是都非常木讷,北大学神韦东奕​是正常人吗?内向木讷是缺点​,拿不出手?​...
- 如何保存卡住的wps_我告诉你wps卡住了怎么办
- SAP License:仓库ERP系统
- 2018大数据就业前景怎么样