Spark 基本知识介绍
文章目录
- 1. Spark是什么
- 2. Spark与Hadoop区别
- 3. Spark四大特点
- 3.1 速度快
- 3.2 易于使用
- 3.3 通用性强
- 3.4 运行方式
- 4. Spark整体框架
- 5. Spark运行模式
- 6. Spark架构角色
- 6.1 YARN角色
- 6.2 Spark 角色
1. Spark是什么
Spark是用于大规模数据处理的统一分析引擎。
Spark 最早源于一篇论文 Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing,该论文是由加州大学柏克莱分校的 Matei Zaharia 等人发表的。论文中提出了一种弹性分布式数据集(即 RDD)的概念。
RDD是一种分布式内存抽象,其使得程序员能够在大规模集群中做内存运算,并且有一定的容错方式。而这也是整个Spark的核心数据结构,Spark整个平台都围绕着RDD进行。
Spark借鉴了MapReduce思想发展而来,保留了其分布式并行计算的优点并改进了其明显的缺陷。让中间数据存储在内存中提高了运行速度,并提供丰富的操作数据的API提高了开发速度。
2. Spark与Hadoop区别
hadoop | spark | |
---|---|---|
类型 | 基础平台,包含计算,存储,调度 | 纯计算工具(分布式) |
场景 | 海量数据批处理(磁盘迭代计算) | 海量数据的批处理(内存迭代计算,交互式计算),海量数据流计算,机器学习,图计算 |
价格 | 对机器要求低,便宜 | 对内存有要求,相对较贵 |
编程范式 | Map+Reduce,API较为底层,算法适应性差 | RDD组成DAG有向无环图,API较为顶层,方便使用 |
数据存储结构 | MapReduce中间计算结果在HDFS磁盘上,延迟大 | RDD中间运算结果在内存中,延迟小 |
运行方式 | Task以进程方式维护,任务启动慢 | Task以线程方式维护,任务启动快,可批量创建提高并行能力 |
虽然Spark相对Hadoop而言有较大的优势,但Spark并不能完全代替Hadoop,Spark仅能做计算,而Hadoop生态圈不仅有计算(MapReduce),还有存储(HDFS)和资源管理调度(YARN)。
Hadoop中的MR中每个map/reduce task都是一个java进程方式运行,好处在于进程之间是互相独立的,每个task独享进程资源,没有互相干扰,监控方便,但是问题在于task之间不方便共享数据,执行效率比较低。比如多个map task读取不同数据源文件需要将数据源加载到每个map task中,造成重复加载和浪费内存。而基于线程的方式计算是为了数据共享和提高执行效率,Spark采用了线程的最小的执行单位,但缺点是线程之间会有资源竞争。
3. Spark四大特点
3.1 速度快
由于Apache Spark支持内存计算,并且通过DAG(有向无环图)执行引擎支持无环数据流,所以官方宣称其在内存中的运算速度要比Hadoop的MapReduce快100倍,在硬盘中要快10倍。
Spark处理数据与MapReduce处理数据相比,有如下两个不同点:
- Spark处理数据时,可以将中间处理结果数据存储到内存中;
- Spark 提供了非常丰富的算子(API), 可以做到复杂任务在一个Spark 程序中完成
3.2 易于使用
Spark支持了包括 Java、Scala、Python 、R和SQL语言在内的多种语言。
3.3 通用性强
在 Spark 的基础上,Spark 还提供了包括Spark SQL、Spark Streaming、MLib 及GraphX在内的多个工具库,我们可以在一个应用中无缝地使用这些工具库。
3.4 运行方式
Spark 支持多种运行方式,包括在 Hadoop 和 Mesos 上,也支持 Standalone的独立运行模式,同时也可以运行在云Kubernetes(Spark 2.3开始支持)上。
对于数据源,Spark 支持从HDFS、HBase、Cassandra 及 Kafka 等多种途径获取数据。
4. Spark整体框架
整个Spark 框架模块包含:Spark Core、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib,而后四项的能力都是建立在Spark Core之上。
- Spark Core:Spark的核心,Spark核心功能均由Spark Core模块提供,是Spark运行的基础。Spark Core以RDD为数据抽象,提供Python、Java、Scala、R语言的API,可以编程进行海量离线数据批处理计算。
- SparkSQL:基于SparkCore之上,提供结构化数据的处理模块。SparkSQL支持以SQL语言对数据进行处理,SparkSQL本身针对离线计算场景。同时基于SparkSQL,Spark提供了StructuredStreaming模块,可以以SparkSQL为基础,进行数据的流式计算。
- SparkStreaming:以SparkCore为基础,提供数据的流式计算功能。
- MLlib:以SparkCore为基础,进行机器学习计算,内置了大量的机器学习库和API算法等。方便用户以分布式计算的模式进行机器学习计算。
- GraphX:以SparkCore为基础,进行图计算,提供了大量的图计算API,方便用于以分布式计算模式进行图计算。
5. Spark运行模式
Spark提供多种运行模式,主要包括以下四种:
- 本地模式(单机):本地模式就是以一个独立的进程,通过其内部的多个线程来模拟整个Spark运行时环境
- Standalone模式(集群):Spark中的各个角色以独立进程的形式存在,并组成Spark集群环境
- Hadoop YARN模式(集群):Spark中的各个角色运行在YARN的容器内部,并组成Spark集群环境
- Kubernetes模式(容器集群):Spark中的各个角色运行在Kubernetes的容器内部,并组成Spark集群环境
6. Spark架构角色
6.1 YARN角色
资源管理层面:
- 集群资源管理者(Master):ResourceManager
- 单机资源管理者(Worker):NodeManager
任务计算层面:
- 单任务管理者(Master):ApplicationMaster
- 单任务执行者(Worker):Task(容器内计算框架的工作角色)
6.2 Spark 角色
Spark中由4类角色组成整个Spark的运行时环境
- Master角色,管理整个集群的资源 类比于YARN的ResourceManager
- Worker角色,管理单个服务器的资源 类比于YARN的NodeManager
- Driver角色,管理单个Spark任务在运行的时候的工作 类比于YARN的ApplicationMaster
- Executor角色,单个任务运行的时候的一堆工作者,专门干活的,类比于YARN的容器内运行的task
从资源管理层面划分:
- 管理者:Spark是Master角色,YARN是ResourceManager
- 工作者:Spark是Worker角色,YARN是NodeManager
从任务执行层面:
- 任务管理者:Spark是Driver角色,YARN是ApplicationMaster角色
- 任务执行者:Spark是Executor角色,YARN是容器中运行的具体工作进程
正常情况下Executor是干活的角色,但是在Local模式下,Driver既可以干活又要管理
Spark 基本知识介绍相关推荐
- 推荐系统[一]:超详细知识介绍,一份完整的入门指南,解答推荐系统相关算法流程、衡量指标和应用,以及如何使用jieba分词库进行相似推荐,业界广告推荐技术最新进展
搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排).系统架构.常见问题.算法项目实战总结.技术细节以及项目实战(含码源) 专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排 ...
- 【Visual C++】游戏开发笔记二十七 Direct3D 11入门级知识介绍
游戏开发笔记二十七 Direct3D 11入门级知识介绍 作者:毛星云 邮箱: happylifemxy@163.com 期待着与志同道合的朋友们相互交流 上一节里我们介绍了在迈入Dire ...
- Spark基础知识解答
Spark基础知识解答 一. Spark基础知识 1. Spark是什么? UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架. Spark基于mapred ...
- NLP汉语自然语言处理入门基础知识介绍
NLP汉语自然语言处理入门基础知识介绍 自然语言处理定义: 自然语言处理是一门计算机科学.人工智能以及语言学的交叉学科.虽然语言只是人工智能的一部分(人工智能还包括计算机视觉等),但它是非常独特的一部 ...
- 【 MATLAB 】逆离散余弦变换(idct)的基础知识介绍
基础知识介绍 逆离散余弦变换从离散余弦变换 (DCT) 系数中重建序列.idct 函数是 dct 函数的逆. The DCT has four standard variants. For a tra ...
- Spark 架构原理介绍 以及 job、task、stag 概念
Spark运行模式 一:Spark 运行架构介绍 相关术语概念详解: Application:指的是用户编写的Spark应用程序,包含了一个Driver功能的代码和分布在集群中多节点上运行的Execu ...
- 视频编解码的理论和实践1:基础知识介绍
近几年,视频编解码技术在理论及应用方面都取得了重大的进展,越来越多的人想要了解编解码技术.因此,网易云信研发工程师为大家进行了归纳梳理,从理论及实践两个方面简单介绍视频编解码技术. 相关阅读推荐 &l ...
- 操作系统:SSH协议知识介绍
今天给大家分享SSH协议相关的知识介绍,希望对大家能有所帮助! 1.SSH协议概念介绍 SSH(Secure Shell)安全外壳协议,是一种建立在应用层基础上的安全协议,通过对密码进行加密传输验证, ...
- 后端:MyBatis缓存知识介绍
今天给大家分享一下MyBatis缓存知识介绍,希望对大家日常的开发当中能有所帮助! 一.MyBatis一级缓存 1.一级缓存介绍 当我们的程序MyBatis开启一次和数据库的会话,MyBatis会自动 ...
最新文章
- 01移动端布局基础之流式布局
- IBD:5-氨基水杨酸治疗后溃疡性结肠炎患者真菌菌群的变化
- 来宾可以删除服务器文件怎么设置密码,服务器来宾用用户设置密码
- 点击文字弹出一个DIV层窗口代码 【或FORM表单 并且获取点击按钮的ID值】
- 微服务探索与实践—服务注册与发现
- 【费用流】【线性规划】志愿者招募(luogu 3980)
- Oracle数据库更新时间的SQL语句
- input css年月日,input标签的type为date,显示的日期格式样式更改
- mysql 删除创建表分区_创建,增加,删除mysql表分区
- cartographer attempt to index global ‘SPARSE_POSE_GRAPH‘ (a nil value)
- 「译」javascript 中的 delete
- 【论文推荐】推荐4个NLP任务的论文列表 -- 语法纠错、释义生成、文本可读性、汉字部件...
- 三维重建的定位定姿算法
- powerdesigner中cmd模型中多对多_[进行中]美的多多进宝日
- 百度EasyDL图像分类的使用
- python转码时出现'illegal multibyte sequen'错误
- 虚拟机 硬盘空间不足 磁盘最大大小调整的相对方法
- 开始菜单中计算机栏里没有桌面,有效快速解决电脑桌面开始菜单不见了
- 支付宝RSA2公钥证书生成办法
- 人生必读的100本书隐私政策