一文理清数据仓库实施方法论

关键的原则包括：
以数据仓库技术为核心平台
数据平台的设计必须解决现有问题，同时着眼于未来
促进一致性和跨部门的整合
剔除重复的数据
保留事件的历史和事件的相关内容
收集和保存最原始的数据
收集满足现有需要更广泛的数据
为客户的使用、使用模式和角色选择合适的工具
达到自动操作化的最高程度和重复使用

项目具体实施步骤
项目前期准备：

业务探索（Business Discovery）
信息探索（Information Discovery）
逻辑数据模型设计

系统体系结构设计：

物理数据库设计
数据转换加载ETL
前端应用开发
数据挖掘服务

元数据管理
数据仓库管理（处理流程与操作）
解决方案集成（测试验收与试运行）

一、项目前期准备：
项目启动相关事宜

成立项目组
确定各项目小组的成员及各自的工作职责
确认项目范围和主要目标
确认项目实施计划
确定各项目小组的阶段性工作目标
确认项目阶段性验收及总体验收标准
确定教育训练计划

开展项目启动会议

1.1、业务探索(Business Discovery)
主要任务：

确定重点用户与数据源
用户需求调研与记录
用户需求和数据源的匹配度分析
用户需求的反馈与讨论用户对业务需求的确认

以引导的方式进行业务需求的访谈

1.2、信息探索(Information Discovery)
业务系统信息分析

确认数据源
数据字典的整理
数据的分析
·数据内容的分析与确认
·数据结构的确认与分析
·数据时间跨度分析
·数据完整性的分析
·数据关联性的分析
·数据的时序性分析
·数据的冗余关系等

1.3、逻辑数据模型设计
确定逻辑数据模型的设计原则

命名规范
设计思想
概念模型的确认（确认主题以及主题关系）

进行逻辑数据模型设计

建立实体模型
建立实体间依赖关系
完善并填入所有属性

进行逻辑数据模型的验证–——基于业务问题的验证方法
逻辑数据模型的提交与确认

逻辑数据模型是用来发现、记录和沟通业务的详细“蓝图”

通用的业务语言
便于业务与业务之间的功能理解
集成当前和未来数据的蓝图
为物理数据库设计作准备
是IT人员和业务人员沟通的工具

二、系统体系结构设计
体系架构的详细涉及包括：

网络拓扑结构
数据的存取机制
设备的互连与访问机制
备份机制与策略
用户组织机构与类型
系统安全性
元数据方法
命名规范等

进行工具评估：

应用开发工具
数据采集与转换工具
数据挖掘工具
备份工具等

2.1 物理数据库设计
主要任务：

转换逻辑数据模型（LDM）为物理数据模型
定义主索引/次索引
非正规化处理（denormalizations）
数据库建立
设计优化
数据库功能测试

2.2 数据转换与加载（ETL）
主要任务：

数据源及其特性定义
数据析取，转换和加载策略设计
构建和测试初始加载的程序和处理流程
构建和测试日常加载的程序和处理流程
40%的工作量在数据转换与加载上

数据正确性检查是ETL成功的保障

需要制定相应的策略
贯穿整个数据转换与加载的过程
程序检查与人工确认相结合
每日程序审核和定期的手工抽查相结合

2.3 前端应用开发
主要任务：

前端应用体系结构设计
OLAP应用设计（Summary/Fact表及Cube的产生）
前端应用开发（随机查询、预定义报表、OLAP应用）
撰写用户使用手册
用户测试验收

使用工具：

查询报表工具
OLAP工具（Brio，Cognos，MicroStrategy…）
基于Web的开发工具（InterDev，ColdFusion…）
其他开发工具

2.4 数据挖掘应用
2.5 元数据管理
元数据（Metadata）是指关于数据的数据，即用来描述数据的类型、来源、定义、存储位置，使得业务用户可以正确地使用数据仓库。
主要任务：

定义可以获取，并且需要进行管理的元数据的内容
设计用于元数据存储的元数据模型
选择合适的元数据管理工具
建立和测试元数据的接口（Bridge）
开发对元数据的应用（如影响度分析）

2.6 数据仓库管理
主要任务：

设计和开发数据仓库支持体系结构
开发和测试数据仓库日常运作流程
分析和建立日常运作的错误处理流程
开发和测试性能监视程序
开发和测试数据备份与恢复程序
设计和开发操作人员/最终用户培训计划
建立用户支持和培训材料

2.7 解决方案集成（系统验收与试运行）
主要任务：

建立并执行集成测试计划
建立并执行数据仓库平台测试计划
建立并执行系统验收测试计划
移植开发系统到生产系统
执行用户培训计划
实施数据仓库管理基础设施
项目实施完成
回顾项目状态

三、额外说说如何科学的进行项目管理
3.1 详细的项目计划：

基于SOW（工作说明书）进行项目实施范围的详细的界定
在SOW中明确项目的整体实施规划
Milestone（里程碑）式的项目阶段性实施计划m
基于项目阶段性实施计划的月度工作计划（整个项目）
基于整个项目月度工作计划的小组每周工作计划

详细的项目计划可以保证：

项目的实施进度的合理控制
项目人力资源的合理调度与分配

3.2 计划的执行与总结
Plan |Action |Review

项目每个小组按照指定的每周工作计划，进行执行，并且每周组织项目例会进行工作总结
整个项目组月度工作计划，完成月度工作总结，提交项目管理委员会审核。
按照项目实施的里程碑，完成向项目管理委员会的阶段性工作报告。

总结的目的：

按照执行情况，及时的进行项目计划的调整。
在回顾与总结中，及时发现项目存在的问题和实施的风险，以寻求外界的支援和帮助

3.3 问题的跟踪机制
进行跟踪的问题主要包括以下两类：

目前没有达成一致，但是需要双方进一步协调解决的问题。
项目组内部已经达成一致，但是解决时机不成熟的问题。
项目组内部无法解决，需要需求外界支援与协调的问题。
对于项目后期建设有利的项目组成员的跳跃式思维火化。

备忘录机制可以对问题进行及时地记录。
对备忘录的定期地回顾，后者建立定期的提醒机制，是问题跟踪很好的方法。

3.4 完善的文档管理
建立完善的文档管理机制

对项目的各种文档以及程序代码进
行统一的管理
对于所有的文档必须进行留存管理
建立文档的编写与审核的机制
文档的审核需要有客户的参与
保证版本的一致性
文档有统一的模板

3.5 部门之间的配合与协调

因为任何大型分析型的应用都不是由单个技术或者业务部门运作的，都需要整个公司内部的配合，所以部门之间的配合和协调都是非常重要的。部门之间的配合和协调需要：
公司决策领导的支持
项目组客户中能够进行跨部门协调的人员其他部门确认的联络员进行配合
协调与沟通中的文档纪录

3.6 知识的转移：
知识的转移需要贯穿在整个分析系统的建设过程中。
知识转移的目的为：
·只有足够的知识准备才能保证客户在建设过程中的全程参与。
·只有足够的知识准备才能保证系统在维护过程中的顺利交接。

知识转移的方法：培训与实践的结合
·在项目的不同的阶段，定期组织各种相关的培训。
·客户积极地参与Teradata的全球技术认证考试。
·客户积极地参与到项目的开发中来。

一文理清数据仓库实施方法论相关推荐

百分点大数据技术团队：数据治理“PAI”实施方法论
数据作为第五大生产要素,已逐渐成为政府和企业决策的重要手段与依据.面对数据多样化.数据需求个性化.数据应用智能化的需求,以及在2B和2G行业中数据质量参差不齐.数据应用难以发挥价值.数据资产难以沉淀等 ...
Oracle的ERP实施方法论
(转自网络)Oracle Applications实施方法论是一套建立整体解决方案的方法,主要由AIM(应用系统实施方法论)和PJM(整体项目管理方法论)等各自独立的方法论组成.这些方法论可以提高工作 ...
甲骨文公司的ERP实施方法论
Oracle Applications实施方法论是一套建立整体解决方案的方法,主要由AIM(应用系统实施方法论)和PJM(整体项目管理方法论)等各自独立的方法论组成.这些方法论可以提高工作效率及项目实 ...
SAP实施方法论之探讨-现状调研与需求分析
如何做好现状调研与需求分析 SAP实施方法论涵盖五大步骤,包括:项目准备.蓝图设计.系统实现.最后准备.上线与支持.本次结合多次项目的实际体会,先仅针对如何做蓝图设计阶段的"现状调研与需求分 ...
企业门户项目实施方法论（IPS方法简介），适用于企业门户项目的项目管理方法论（上篇）...
1.1 项目实施方法采用标准的实施方法和实施规范是项目成功实施的保证.经过对多家大型企业信息门户平台项目成功实施的经验总结,同时结合国内外先进的实施方法和实施工具,并根据我国企业的实际情况,提炼出 ...
一文理清散乱的物联网里开发者必须关注的技术！
一文理清散乱的物联网里开发者必须关注的技术! 不管是从商业模式导出的业务模型,还是从技术发展的角度看,文本都倾向于将物联网技术构架看作是互联网技术构架的延展.而与这个观念对立的,是传统嵌入式软件开发的 ...
4. BANN实施方法论—Target(转)
4. BANN实施方法论-Target Target实施方法论提炼总结了世界范围内8000多个BaaN公司ERP产品用户的实施经验.Target实施方法论是ERP领域唯一利用多层原型化的工具,它不仅着 ...
Unifier项目实施系列：02项目实施方法论
卷首语项目实施方法论是保证项目取得成功的关键,是在实践中不断总结完善的. Unifier项目实施方法论综述每一种IT产品都有其固有的特点,而与之相对应的IT项目也有其固有的实施方法.完整的项目涉及 ...
NO.2-SAP S4 HANA Cloud实施方法论（2）
上篇文章中我们介绍到了S4HC实施方法论中的发现阶段,今天我们继续分享有关S4HC实施方法论的相关知识. 准备阶段: 在发现阶段中客户和实施团队通过Trial系统熟悉了S4HC,但是实施并没有真正的开 ...

一文理清数据仓库实施方法论

一文理清数据仓库实施方法论相关推荐

最新文章

热门文章