大数据学习1——大数据概述

一、三次信息化浪潮的标志

第一次：PC

第二次：互联网

第三次：大数据、云计算、物联网

二、大数据关键技术

大数据特点：4V，数据量大（Volume）、数据类型多（Variety）、处理速度快（Velocity）、价值密度低（Value）。

大数据的关键技术包括：数据采集、数据存储和管理、数据的分析和处理、数据的隐私和安全。其中，分布式存储和分布式处理是大数据技术的核心。

大数据计算模式：批处理计算（大规模数据的批量处理，如mapReduce, Spark）、流计算（流数据的实时计算，如Storm、S4、Streams、Puma、DStream等）、图计算（大规模图结构数据的处理，如 Pregel、Graphx、Giraph、Hama等）、查询分析计算（大规模数据的存储管理和查询分析，如Dreml、Hive、 Cassandra等）

三、大数据、云计算和物联网的关系

云计算，通过网络以服务的方式提供可伸缩、廉价的分布式计算能力。解决海量放分布式存储和分布式处理，虚拟化和多租户。

云分为公有云、私有云和混合云，底层是基础设施即服务IaaS，主要是提供底层的基础设施，企业不需要搭建硬件服务；中间层是平台即服务PaaS，就是一个云平台开发环境，企业个人可以在上面开发自己的云产品。最上层是软件即服务SaaS，提供软件层面的服务。

云计算的关键技术：虚拟化、分布式存储、分布式计算、多租户等。而云计算数据中心则是云计算的载体，为云计算提供计算、存储、宽带连接、监控等，也为各种平台和应用提供运行支撑环境。

物联网：主要是交互感知。

三者之间的关系：大数据技术继承自云计算，现在大数据包含两方面的意思：一是数据量非常大，二是对数据的处理技术。反过来，也正是大数据时代的到来，才不断促进了云计算及时的发展。而物联网则是数据的源头，不断产生大量的数据。

四、云计算的三个层次

IaaS（Infrastructure as a service，基础设施即服务）：提供最基本的设施服务，如计算资源和存储等；

PaaS（Platform as a service，平台即服务）：提供最基本的服务，还包括操作系统和软件运行所需的特定环境；

Saas（Software as a service，软件即服务）：提供一个云端的服务软件；