大数据管理平台-数据处理与数据集市

对于数据的理解，不同行业不同人都有不同的见解。从计算机角度来说，全部数据包括食品、文字、数据....都是1和0，或者说是高低电平。对于化学家来说所有的数据也是各种元素的不同状态的组成，哪怕是高低电平存储到硬件上也是si材料或记忆材料的行变。但对于广大群众、对于人本身，还是靠近生活的数据，普惠大众的资料是更有价值的更有意义的。他更容易、更直接的让生活变的美好，对于一个团队也更能体现他们的价值更有发挥的意义。

在这个平台上，主要服务的行业是”财务金融信用“相关，数据类目涵盖文本文字数据、图像影像音频数据、及各种第三方处理的r文件等其他格式的文件。这些数据从采集到入库再到使用输出，我们和大多数数据公司一样，经过数据库表设计、数据纬度指定、业务数据质量评定标准建立、数据建模、数据清洗....数据技术支持方案，包括数据持久化、数据可视化，数据加密等等。这和我们第一次的数据平台架构说明是一致的。

主营业务知识上不多描述了，应为这一数据处理同样适用于体育、五金、软件外包各个行业。

*系统元数据

**业务元数据和基础业务标准数据（技术元/业务元）

***经典数据分层架构：集市--->仓库（源数据/数据源/实体数据/纬度/应用型数据处理流）---->输出（文本/可视化）

****数据管控权限（CRUD及可视化权限等操作权限控制或角色设计）

1.数据仓库（按公司部门分（营销部/技术部/财务部/业务部/综合部），按业务分类分（企业基本数据/企业财务数据/企业行为数据/企业舆情信息）

2.数据集市（为数据仓库子分类库建设关系库/非关系库库表结构/ETL粒度处理流程/（子业务/部门业务流程说明：主体域）/特殊主题数据处理模型支持/星形模式/3NF模式）

---->这些是基于主营业务需要的数据设计产生，以及明确商业目标后产出[如：报表、图文....,对提出分析结果的需要业务员、经理人、数据分析师支持]。同时在整体式要把握数据源，数据处理粒度，以及数据模型（这个模型产生于理性理论和感知感性结合）。

---->数据整体要张弛有度，可扩充扩展，稳定（都是废话）

----->数据仓库对业务提出主体、纬度、度量、指标、属性、层次.... 对于数据仓库本身好坏如何描述、以什么标准描述？描述元数据的数据叫什么？或者这些标准不重要，注重的就是数据的质量、时效实时性、挖掘分析结果可靠性。

3.数据整合 (目标：是客户或者部门的要求【含时间、频率、递交手段：如接口化/文档/纸质等】/数据预加工/ETL抽取转换加载)

4.可预见异常（候选数据源、部门要求需求变更、备用数据处理流程、管理者使用者反馈【重新派单】、数据稽核【排检问题反馈问题清单】）

5.数据版本控制

6.工具建模工具（PD\ERw in...） BI工具（BO、googleBI...）数据元/源数据（rdbs\Excel....）或集成工具（dataStage、sas...）

7.技术工种：前端访问及可视化交互工程师、数据挖掘数据分析数据处理及质量评估工程师、数据架构师（数据存储安全，及工具平台建设数据日志分析，技术元数据的监管监控）、底层工程师（工程实现）、产品需求分析人员

8.数据国际标准：CWN

在准备工作全部实施落实完毕后，全流程：数据源---->ETL----->存储----->分析------>输出，就基本实现了。

而在成功转换上，我们可以使用末端的数据集作为商品，工具作为产品，或者做企业服务（数据类培训、数据统计整理....）等

大数据管理平台-数据处理与数据集市相关推荐

Cloudera Manager大数据管理平台介绍
简介 Cloudera企业解决方案包括Cloudera Hadoop发行版(Cloudera's Distribution Including Apache Hadoop,简称CDH),Clouder ...
北京供销大数据集团大数据管理平台研发完成走向商用
自"十三五"规划纲要出炉之后,国内相关厂商密集布局大数据基础设施.产业基地.数据中心及管理平台等,助推大数据产业能力落地. 近日,北京供销大数据集团(以下简称"SinoB ...
南沙发布全国首个智慧城市物联网大数据管理平台
记者从近日举行的2017广州国际照明博览会(光亚展)上获悉,由中科院孵化的南沙企业--中科智城软件有限公司正式发布了其研制成功全国首个"智慧城市物联网大数据管理平台"(以下简称&q ...
ktv管理系统_著作权大数据管理平台开始公测或将解决KTV行业版权困扰
因为版权问题,KTV一度被要求下架许多歌曲,这给KTV经营者带来了不小的困扰.随着"著作权大数据管理平台"公测的推进,大数据.人工智能等技术或许将消除这一现象,KTV行业将迎来和谐 ...
大数据管理平台助力精准扶贫 “建始经验”将在全省推介
如何在规定时间内实现精准扶贫.精准脱贫,打赢脱贫攻坚战.与全省同步全面建成小康社会?建始县建立精准扶贫大数据管理平台,助力脱贫攻坚的做法,受到肯定.近日,省委办公厅刊发简报推介这一经验,要求各地各部门 ...
云南省依托大数据管理平台反映扶贫工作实现精准监督常态化
据悉,近日云南省创新监督方式,建立全省精准扶贫大数据管理平台,通过扶贫对象.扶贫措施.扶贫成效等功能模块直观反映贫困对象.措施及成效,确保民生监督与脱贫攻坚实现精准对接,实现了政策宣传.精准识别.项目 ...
国产自研开源大数据管理平台DataSophon Manager安装教程
简介 DataSophon是近日开源的一款国产自研大数据管理平台,致力于快速实现部署.管理.监控以及自动化运维大数据服务组件和节点的能力,帮助你快速构建起稳定.高效的大数据集群服务. 主要有以下特性: ...
大数据管理平台（一）概述
系列文章目录文章目录系列文章目录前言一.功能概述二.使用步骤 2.1 安装 2.2 监控 2.3 管理 2.4 用户管理 2.5 应用市场 2.6 操作系统三.总结前言做大数据有几年了 ...
【ECharts系列|03可视化大屏】大数据管理平台实时展示
基于echats实现可视化大数据管理平台实时展示. 完整html+css+js+json+font+video:https://download.csdn.net/download/weixin_41 ...
深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台
http://blog.csdn.net/popsuper1982/article/details/52736084 深入解析DC/OS 1.8 – 高可靠的微服务及大数据管理平台大家好,欢迎大家参 ...

大数据管理平台-数据处理与数据集市

大数据管理平台-数据处理与数据集市相关推荐

最新文章

热门文章