《大数据原理与应用》林子雨：一. 大数据基础
《大数据原理与应用》林子雨：一. 大数据基础
思维导图
PS：边学边记
重点： 理解大数据的概念及其处理架构Hadoop
难点： 掌握大数据处理架构Hadoop的安装与使用方法
第1章 大数据概述
1.1 大数据时代
1.1.1 三次信息化浪潮IBM前首席执行官郭士纳的观点：IT领域每隔15年就会迎来一次重大变革**第一次浪潮**
时间：1980年左右
标志：个人计算机
解决问题：信息处理
代表企业：intel,AMD,IBM,苹果，微软，联想，戴尔，惠普等**第二次浪潮**
时间：1995年左右
标志：互联网
解决问题：信息传输
代表企业：雅虎，谷歌，阿里巴巴，百度，腾讯等**第三次浪潮**
时间：2010年左右
标志：物联网，云计算，大数据
解决问题：信息爆炸
代表企业：亚马逊，谷歌，IBM,VMWare，Palantir，Hortonworks,Cloudera，阿里云等
1.1.2 信息科技为大数据时代提供技术支撑
信息科技需要解决的三个核心问题： **信息存储、信息传输、信息处理**
存储设备容量不断增加
CPU处理能力大幅提升
网络带宽不断增加
1.1.3 数据产生方式的变革促成大数据时代的来临
数据是构成信息的基本单位，比如：数字、文字、图像、声音等，被称为“未来的石油”1、运营式系统阶段；2、用户原创内容阶段；3、感知式系统阶段
1.1.4 大数据的发展历程
1.2大数据的概念
什么是大数据？
4V：数据量大（volume）、数据类型繁多（variety）、处理速度快（velocity）、价值密度低（value）
1.3大数据的影响
**科学研究：**
科研范式：实验、理论、计算、数据（第四范式）
**思维方式：**
大数据的三大显著特征：全样而非抽样、效率而非精确、相关而非因果
**社会发展：**
新的决策方式：大数据决策
**就业市场：**
数据科学家——热门人才
**人才培养：**
改变我国高校信息技术相关专业现有科研及教学体制
1.4大数据的应用
互联网
生物医学
物流等
1.5大数据的关键技术
数据采集
数据储存与管理
数据处理与分析
数据隐私与安全
1.6大数据计算模式
批处理计算
流计算
图计算
查询分析计算
1.7大数据产业
IT基础设施层
数据源层
数据管理层
数据分析层
数据平台层
数据应用层
1.8大数据与云计算、物联网
云计算
物联网
三者的联系
第2章 大数据处理架构Hadoop
Hadoop概述
Hadoop生态系统
Hadoop的安装与使用
实验1：Hadoop安装
大数据存储与管理
分布式文件系统
分布式数据库HBase
NoSQL数据库
云数据库
大数据处理与分析
MapReduce
Hadoop再深讨
Spark
流计算
图计算
数据可视化
大数据应用
大数据在互联网领域的应用
大数据在生物医学领域的应用
大数据的其他应用
《大数据原理与应用》林子雨：一. 大数据基础相关推荐
- 《大数据处理技术Spark》--林子雨
从林子雨老师的网课上学到的东西,林老师讲的特别清晰,记录一下,防止忘记. 以下是资料的链接: hadoop安装 课程 课件链接 其他资料: Spark-SQL之DataFrame操作大全 文章目录 1 ...
- 大数据技术原理与应用(林子雨)MOOC作业与检验答案
第1章 大数据概述 1单选(2分) 第三次信息化浪潮的标志是: A.个人电脑的普及 B.云计算.大数据.物联网技术的普及 C.虚拟现实技术的普及 D.互联网的普及 正确答案:B你选对了 2单选(2分) ...
- 厦门大学林子雨教授大数据技术原理及应用课程问题处理集锦
问题一: 关于" Classorg.apache.hadoop.hdfs.DistributedFileSystem not found "的问题 解决办法: 参考网址一 参考网址 ...
- 大数据技术原理与应用课后题（林子雨）
大数据技术原理与应用(林子雨) 第1章 大数据概述 1单选(2分) 第三次信息化浪潮的标志是: A.个人电脑的普及 B.云计算.大数据.物联网技术的普及 C.虚拟现实技术的普及 D.互联网的普及 正确 ...
- 大数据技术原理与应用—第1讲 大数据概述（林子雨老师）课后习题
以下是慕课上林子雨老师,大数据原理及应用的第一讲习题答案.仅供大家学习参考. 第8题:4V指的是:价值密度低,数据量大,数据类型多,处理速度快
- 大数据技术原理与应用—第10讲 Spark（林子雨老师）课后习题
以下是慕课上林子雨老师,大数据原理及应用的第十讲习题答案.仅供大家学习参考. 10.RDD,中文全称是 (==弹性分布式数据 ==),是分布式内存的一个抽象概念,提供了一种高度受限的共享内存模型. 多 ...
- 大数据技术原理与应用 第三版 林子雨 期末复习（二） Hadoop HDFS HBase
大数据技术原理与应用 第三版 林子雨 期末复习(二) Hadoop HDFS HBase Hadoop生态系统 HDFS HDFS结构 块 Name Node与Second Name Node与Dat ...
- 林子雨试卷《大数据技术原理与应用》试题与答案
<大数据技术原理与应用>试题与答案 问答题(100分): (问答题,共13道题目,第1题4分,第2题6分,第3题10分,第4题10分,第5题16分,第6题6分,第7题12分,第8题6分,第 ...
- 大数据技术原理与应用第2版-林子雨版-课后习题答案
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容. 信息化浪潮 发生时间 标志 解决问题 代表公司 第一次浪潮 1980年前后 个人计算机 信息处理 Intel.AMD.IBM.苹果.微软. ...
最新文章
- 医工智能 创享未来—— “医工科研数据平台”与“医工结合科研创新支持计划”发布！...
- OpenStack neutron中AsyncProcess类
- PHP NULL 合并运算符
- 多租户数据库性能测试手册
- linux下mvn的运行配置,Linux内网环境下使用Nexus配置Maven私有仓库
- python 爬虫 scrapy 和 requsts 哪个快_Python爬虫：Scrapy研读之Request/Reponse
- 1.2句柄及 WinMain函数
- 电话拦截以及电话拦截后的提示音
- Java使用融云SDK，推送聊天信息
- PHP连接MYSQL没有反应
- xml建模包括以下_我们的服务|无人机倾斜摄影三维建模
- ArcGIS使用（一）创建ArcGIS应用
- 下面关于在dos停止mysql_下面关于在DOS停止MySql的命令中,正确的是 (5.0分)_学小易找答案...
- python 爬取携程旅游景点评论
- C++--struct的用法
- Excel中倒排数据
- 2022年1111/双11淘宝/天猫/京东任务自动助手，分享源码学习
- 简单图文解释冯诺依曼体系结构（通俗易懂版）
- Python实现BT种子转化为磁力链接【实战】
- playcanvas 引擎