胖子哥大数据之路（一）-数据仓库也需要大数据

为什么80%的码农都做不了架构师？>>>

一、楔子

　　大数据传统企业实施，其路漫漫，绝不会如昙花一现，探索大数据在传统行业的实施之路，寻找一条适合传统行业的企业大数据实施方法体系，是我执着坚守的信念，大数据是一种信仰，吾将上下而求索。记下项目中的点滴，算是日志，自勉。

二、项目背景

　　最近在处理一个商业银行的大数据项目，旨在构建大数据资源池，项目边界确认过程中，针对项目的定位出现了两种不同的观点，对大数据的在传统行业的应用有了新的启发。观点一、大数据作为操作数据历史库，存储操作数据库数据，提供历史数据长周期，快速检索的历史数据存储和快速查询服务。观点二、大数据作为数据仓库的的历史库，解决数据仓库历史数据存储的问题，构建一个大容量，高可用的数据存储平台，为全量数据分析和知识挖掘提供服务。作为操作数据库的历史库，已经完成了项目的实施，但是作为数据仓库的历史库之前的定位一直是取代，基于大数据做数据分析和知识挖掘，现在却找到了一个新的切入点，才发现，原来二者并不矛盾。

三、数据仓库与操作数据库

　　数据仓库的定义并无统一的说法，通常的到人们认可的概念是：一个面向主题的、集成的、时变的、非易失的数据集合，支持管理者的决策过程。简单点说数据仓库就是一种语义上的数据存储，它充当决策支持数据模型的物理实现，并存放于企业战略决策相关的重要信息。

　　数据仓库不同于操作数据库，操作数据库的主要任务是执行联机事务处理和查询处理，称作联机事务处理（OLTP）系统。数据仓库系统在数据分析和决策支持方面为用户或者机器学习提供服务，即联机分析处理（OLAP）。二者的主要区别在于五个大的方面:

　　1）用户系统的面向性：客户与市场；

　　2）数据内容：当前与历史；

　　3）数据库设计：ER与面向主题

　　4）视图：当前与全景

　　5）访问模式：原子事务与只读操作

　　传统模式下数据仓库服务器通常采用关系型数据库，也就是说从软件实现的角度，数据仓库和操作型数据采用的模式是一样的。这就决定了，数据仓库和操作数据库面临同样的问题：行业垄断带来的成本依赖、数据模型带来的存储瓶颈和运算瓶颈。

数据仓库的三层架构如下图所示：

四、大数据的位置

　　数据仓库系统应用大数据技术的模式还在探索，但是目前总结了几个方面的应用。

　　1）大数据作为数据仓库的历史数据存储系统：解决数据仓库只能存储短时段数据的问题

　　2）构建基于大数据平台的数据模型，致力于低成本的数据挖掘体系：传统BI的瓶颈在于软硬件绑定、商业垄断和处理性能，基于但数据开源体系的算法模型和并行计算能力，构建全量的数据分析和挖掘，最终目标在于取代原有高成本的BI体系，为企业降低负担。

　　3) 实时+离线模式的确立，可以充分利用企业已有的IT资源设施，充分利用成熟的BI技术，从而为企业提供更好的服务。

五、遗留问题

　　大数据定位为离线的数据仓库，将会出现三级数据存储模型，实时操作库-数据仓库-大数据资源池，目标有定位已经明确，但是具体实施仍要探索，未完待续...

转载于:https://my.oschina.net/pangzi/blog/199158

胖子哥大数据之路（一）-数据仓库也需要大数据相关推荐

卷皮网大数据之路-《猫友会大数据系列分享》
猫友会希望建立更多高质量垂直细分社群,本次是"大数据学习交流付费群"的第一次分享. "大数据学习交流付费群"由猫友会联合,斗鱼数据平台总监吴瑞诚,卷皮BI技术总 ...
我的程序员之路03：我和大数据
前言又是一年乍暖还寒,春天的风迎面而来,凉意中夹杂着些许温暖.哦,你知道,是春天来了.就像那年的实习期,在挥手告别的毕业季,定格在了那年的七月. 人会怀念,怀念青涩时期的自己,懵懵懂懂却又充满着努力 ...
2020年首届“凤来仪”创业大赛暨江苏人才创新创业项目路演智能汽车和大数据专场
2020年首届"凤来仪"创业大赛暨江苏人才创新创业项目路演智能汽车和大数据专场大赛背景深入贯彻党的十九大精神和省高质量发展要求,充分释放重大项目带动作用和特色产业集聚作用,聚焦 ...
数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？...
商务智能.商务智能工程师是商业智能行业的工程师.从需求分析师到数据仓库架构师.ETL工程师.数据分析工程师.报表开发工程师.数据挖掘工程师等,都可以称为BI工程师. ETL工程师:从事系统编程.数据库 ...
“寻梦之路阿里之行”北城大数据学院学生代表团赴北京阿里中心参观
12月15日,北京城市学院阿里云大数据学院学生代表团一行四十余人赴北京阿里中心参观的.本次活动,旨在开拓同学们的视野,同时丰富学习生活,让同学们亲身领略大数据科学的魅力.同时让学生更好的提高实践能力, ...
“寻梦之路阿里之行”北城大数据学院学生代表团赴北京阿里中心参观...
12月15日,北京城市学院阿里云大数据学院学生代表团一行四十余人赴北京阿里中心参观的.本次活动,旨在开拓同学们的视野,同时丰富学习生活,让同学们亲身领略大数据科学的魅力.同时让学生更好的提高实践能力, ...
全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）
目录大数据领域分析系统平台集群管理与监控文件系统资源调度协调框架数据存储数据处理数据查询和分析数据收集消息系统任务调度数据治理数据可视化云平台大数据必知点大厂应用实践 ...
如何快速全面建立自己的大数据知识体系？大数据 ETL 用户画像机器学习阅读232 作者经过研发多个大数据产品，将自己形成关于大数据知识体系的干货分享出来，希望给大家能够快速建立起大数据
如何快速全面建立自己的大数据知识体系? 大数据 ETL 用户画像机器学习阅读232 作者经过研发多个大数据产品,将自己形成关于大数据知识体系的干货分享出来,希望给大家能够快速建立起大数据产品的体 ...
《大数据算法》一1.2　大数据算法
本节书摘来华章计算机<大数据算法>一书中的第1章 ,第1.2节,王宏志编著, 更多章节内容可以访问云栖社区"华章计算机"公众号查看. 1.2 大数据算法这一节我们概 ...
大数据入门基础系列之初步认识大数据生态系统圈（博主推荐）
不多说,直接上干货! 之前在微信公众平台里写过大数据入门基础系列之初步认识hadoop生态系统圈 http://mp.weixin.qq.com/s/KE09U5AbFnEdwht44FGrOA 大 ...

胖子哥大数据之路（一）-数据仓库也需要大数据

胖子哥大数据之路（一）-数据仓库也需要大数据相关推荐

最新文章

热门文章