文章目录

目录
- 1.spark介绍
- - 1.1 spark介绍
  - 1.2 scale介绍
  - 1.3 spark和Hadoop比较
- 2.spark生态系统
- 3.spark运行框架
- - 3.1 基本概念
  - 3.2 架构的设计
  - 3.3 spark运行基本流程
  - 3.4 spark运行原理
  - 3.5 RDD运行原理
  - - 3.5.1 设计背景
    - 3.5.2 RDD概念和特性
    - 3.5.3 RDD之间的依赖关系
    - 3.5.4 stage的划分
    - 3.5.5 RDD的运行过程
- 4.spark SQL
- - 4.1 shark的介绍
  - 4.2 spark SQL的介绍
- 5.spark的部署和运行
- - 5.1 三种部署方式
  - 5.2 从Hadoop+Strom 架构转向spark架构
  - 5.3 Hadoop 和spark的统一部署
- 6.spark编程实践
- - 6.1 spark安装
  - 6.2 启动spark shell
  - 6.3 spark RDD的操作
  - 6.4 spark应用程序

spark将运行的中间结果写入内存，而不是如MapReduce那样每次都写入磁盘，所以速度非常快，那么肯定就有疑问，内存相比于磁盘来说，那么小，如何解决大数据的中间结果的存储，spark是采用优先写内存，内存写满后，才往磁盘中写入。

2.spark生态系统

3.spark运行框架

3.1 基本概念

3.2 架构的设计

3.3 spark运行基本流程

3.4 spark运行原理

3.5 RDD运行原理

3.5.1 设计背景

3.5.2 RDD概念和特性

3.5.3 RDD之间的依赖关系

3.5.4 stage的划分

3.5.5 RDD的运行过程

4.spark SQL

4.1 shark的介绍

4.2 spark SQL的介绍

5.spark的部署和运行

5.1 三种部署方式

5.2 从Hadoop+Strom 架构转向spark架构

5.3 Hadoop 和spark的统一部署

6.spark编程实践

参考博客

6.1 spark安装

6.2 启动spark shell

6.3 spark RDD的操作

6.4 spark应用程序

大数据学习（09）--spark学习相关推荐

大数据Hadoop，spark学习
Hadoop 基础一个 Hadoop job 通常都是这样的: 从 HDFS 读取输入数据: 在 Map 阶段使用用户定义的 mapper function, 然后把结果写入磁盘: 在 Reduce ...
大数据实时计算Spark学习笔记（9）—— Spar SQL(1) 读取 json 文件
1 Spark SQL 编程方式:(1)SQL;(2) DataFrame API scala> case class Customer(id:Int,name:String,age:Int) ...
大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
大数据技术之_19_Spark学习_07 第1章 Spark 性能优化 1.1 调优基本原则 1.1.1 基本概念和原则 1.1.2 性能监控方式 1.1.3 调优要点 1.2 数据倾斜优化 1.2. ...
大数据薪资一再飙升学习大数据需要哪些基础？
2018年6月19日,备受关注的个人所得税法修正案草案迎来第七次大修,个税起征点由每月3500元提高至每月5000元(每年6万元).对于大多数人来说这绝对是个好消息,但人们更愿意参加培训班实现高薪.近 ...
从小白到大数据人工智能专家的学习历程-送100G学习资料
最近有很多人问我,大数据是怎么学?需要学什么技术以及这些技术的学习顺序是什么?今天有时间我把个问题总结成文章分享给大家. 大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统, ...
什么是大数据？零基础如何学习大数据？（附学习路线）
其实简单的来说,大数据就是通过分析和挖掘全量的非抽样的数据辅助决策. 大数据可以实现的应用可以概括为两个方向,一个是精准化定制,第二个是预测.比如像通过搜索引擎搜索同样的内容,每个人的结果却是大不相同 ...
做为一名大数据新手，如何成为大数据工程师？附上学习路线
这几年来大数据非常的热门,到处都有大数据分析的演讲. 演讲内容通常是宣传各种大数据分析成功的案例. 但实际上大数据该怎么做呢? 大部份的讨论似乎都仅止于怎么搜集大量的数据, 然后用个工具(hadoop ...
成为一个大数据开发工程师的学习步骤--文字版
本博客搬运自我知乎所出视频成为一个大数据开发工程师的学习步骤? - 知乎大数据的学习是有条件限制的,首先你需要是一名普通的工程师,如果你是Java工程师的话更好,但如果你是小-https://www. ...
大数据技术之_17_Storm学习_Storm 概述+Storm 基础知识+Storm 集群搭建+Storm 常用 API+Storm 分组策略和并发度
大数据技术之_17_Storm学习一 Storm 概述 1.1 离线计算是什么? 1.2 流式计算是什么? 1.3 Storm 是什么? 1.4 Storm 与 Hadoop 的区别 1.5 Sto ...
大数据技术之_16_Scala学习_13_Scala语言的数据结构和算法_Scala学习之旅收官之作
大数据技术之_16_Scala学习_13 第十九章 Scala语言的数据结构和算法 19.1 数据结构(算法)的介绍 19.2 看几个实际编程中遇到的问题 19.2.1 一个五子棋程序 19.2.2 ...

大数据学习（09）--spark学习

文章目录

目录

1.spark介绍

1.1 spark介绍

1.2 scale介绍

1.3 spark和Hadoop比较

2.spark生态系统

3.spark运行框架

3.1 基本概念

3.2 架构的设计

3.3 spark运行基本流程

3.4 spark运行原理

3.5 RDD运行原理

3.5.1 设计背景

3.5.2 RDD概念和特性

3.5.3 RDD之间的依赖关系

3.5.4 stage的划分

3.5.5 RDD的运行过程

4.spark SQL

4.1 shark的介绍

4.2 spark SQL的介绍

5.spark的部署和运行

5.1 三种部署方式

5.2 从Hadoop+Strom 架构转向spark架构

5.3 Hadoop 和spark的统一部署

6.spark编程实践

6.1 spark安装

6.2 启动spark shell

6.3 spark RDD的操作

6.4 spark应用程序

大数据学习（09）--spark学习相关推荐

最新文章

热门文章