1、应知应会

从数据在信息系统中的是生命周期看，大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节，即数据准备、数据存储与管理、计算处理、数据分析和知识展现。
大数据信息系统的输入是TB级别的数据。
Google云计算与大数据：分布式文件系统（Google File System）、分布式计算编程模型（MapReduce）、分布式的锁机制（Chubby）以及大规模分布式数据库（BigTable）。

2、大数据环境的技术特征

下表是传统信息系统与大数据信息系统的对比：

项目	传统信息系统	大数据信息系统
系统目的	现实事项的数据生产	基于已有数据的应用
构建前提	结构化设计	分析与挖掘模型的建立
依赖对象	人、物	信息系统
加工对象	数据	逻辑
处理模式	线性处理	并行处理
数据采集范围	局部	全局
存储	集中存储	分布式存储
价值	记录历史方式的事件信息	发现问题、科学决策
效果	数据生产、简单应用	统计挖掘、复杂应用
呈现	局部个体的信息展现	个体在全局中的展现
表现形态	ERP、OA等系统	宏观决策信息系统
作用	企业信息化	企业智慧“大脑”

从数据在信息系统中的生命周期看，大数据从数据源经过分析挖掘到最终获得价值一般需要经过5个主要环节，即数据准备、数据存储与管理、计算处理、数据分析与知识展现。

数据准备环节
在进行存储和处理之前，需要对数据进行清洗、整理，这在传统数据处理体系中称为ETL（Extracting Transforming Loading）过程。与以往数据分析相比，大数据的来源多种多样，包括企业内部数据库、互联网数据和物联网数据，不仅数量庞大、格式不一，质量也良莠不齐。这就要求数据准备环节一方面要规范格式，便于后续存储管理，另一方面要在尽可能保留原有语义的情况下去粗留精、消除噪声。
数据存储与管理环节
计算处理环节
数据分析环节
知识展现环节
下图是大数据的技术架构：

3、云计算架构

云计算架构主要可分为四层，其中三层是横向的，分别是显示层、中间件层和基础设施层，这三层技术能够提供非常丰富的云计算能力和有好的用户界面。还有一层是纵向的，称为管理层，它是为了更好的管理和维护横向的三层而存在。

4、云计算的应用

电子邮箱应用
云计算使得电子邮箱可以使用云端的资源来检查和发送邮件，用户可以在任何地点、任何设备和任何时间访问自己的邮件，企业可以使用云技术让他们的邮箱服务变得更加稳固。
云呼叫应用
私有云应用
云游戏应用
云教育应用
云会议应用
SaaS模式
云社交应用

5、参考文献

[1] 陶皖.云计算与大数据[M].陕西:西安电子科技大学出版社,2017

01云计算与大数据之大数据环境下的云计算架构相关推荐

云计算与大数据---21大数据张舒
云计算 1.什么是云计算? 云计算(cloud computing)是分布式计算的一种,指的是通过网络"云"将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系 ...
云创大数据助力石景山区第三届职业技能大赛-云计算比赛
4月17日上午,石景山区第三届职业技能大赛-云计算比赛在首钢技师学院举行,来自业内从业者和学院集训队的18位云计算高手同场竞技.本次比赛由北京市石景山区人力资源和社会保障局.北京市石景山区总工会主办, ...
【大数据】大数据思维的十大核心原理
感谢博主,转自:https://blog.csdn.net/supermapsupport/article/details/78741774 一.数据核心原理从"流程"核心转变为 ...
大数据工作流_大数据和人工智能时代下的数字化工作流
点击上方"Bentley软件"可以订阅哦本文作者 Bentley 软件公司高级技术经理赵顺耐大数据.人工智能以及与之相伴相生的物联网已经成为现代社会的运行方式,信息技术的急 ...
大数据和人工智能时代下的运筹学
首发于[运筹帷幄]大数据和人工智能时代下的运筹学大话"人工智能.数据科学.机器学习"--综述 1 2 个月前作者系美国克莱姆森大学运筹学硕士,Ph.D. Candidate,师 ...
大数据可视化大屏设计经验，教给你！
前言大数据产业正在用一个超乎我们想象的速度蓬勃发展,大数据时代的来临,越来越多的公司开始意识到数据资源的管理和运用,大数据可视化大屏展示被更多的企业青睐,身为UI设计师的我们,也要紧跟时代的 ...
什么是大数据？大数据学习路线和就业方向
大数据又称巨量资料,就是数据量大.来源广.种类繁多(日志.视频.音频),大到PB级别,现阶段的框架就是为了解决PB级别的数据. 专业的来讲:大数据(big data,mega data),或称巨量资料 ...
UCLA教授朱松纯：走向通用人工智能，从大数据到大任务
导读:本文内容整理自美国加州大学洛杉矶分校的朱松纯教授在 2019 北京智源大会上的主题演讲<走向通用人工智能:从大数据到大任务>. 作者:朱松纯来源:AI科技大本营(ID:rgznai ...
电信行业大数据（大数据平台系列）
电信行业大数据(大数据平台系列) 电信行业拥有体量巨大的数据资源,单个运营商的手机用户每天产生的话单记录.信令数据.上网日志数据可以达到PB级规模.通过大数据技术,运营商可以提升数据处理能力,聚合海量 ...
什么是大数据，大数据最缺什么样的人才？
什么是大数据,大数据是主要指的是,无法在可承受的时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产 ...

01云计算与大数据之大数据环境下的云计算架构

文章目录