Spark开源学习模块

Spark开源的各模块组成结构：

1. Narrow dependency——窄依赖，子RDD依赖于父RDD中固定的data partition。

2. Stage——分为多个阶段进行作业。

3. Wide Dependency——宽依赖，子RDD对父RDD中的所有data partition依赖。

4. RDD——Resillient Distributed Dataset 分布式数据集。

5. Operation——作用于RDD的各种操作分为transformation和action。

6. Job——作业，一个JOB包含多个RDD及作用于相应RDD上的各种operation。

7. Partition——数据分区，一个RDD中的数据分成不同的多个区。

8. DAG——Directed Acycle graph，有向无环图，RDD之间的依赖关系。

9. Caching Managenment——缓存管理，对RDD的中间计算结果进行缓存管理以加快整体的处理速度。

参考资料（reference）
1.Lightning-Fast Cluster Computing with Spark and Shark
2.Introduction to Spark Internals
3.Resilient Distributed Datasets: A Fault-tolerant Abstraction for In-Memory Cluster Computing

Spark开源学习模块相关推荐

Spark基础学习笔记01：初步了解Spark
文章目录零.本讲学习目标一.大数据开发总体架构二.Spark简介三.Spark发展史四.Spark特点 (一)快速 (二)易用 (三)通用 (四)随处运行 (五)代码简洁 1.采用MR实现词 ...
InChatter系统开源聊天模块前奏曲
最近在研究WCF,又因为工作中的项目需要,要为现有的系统增加一个聊天模块以及系统消息提醒等,因此就使用WCF做服务器端开发了一个简单的系统. 开发最初学习了东邪孤独大哥的<传说的WCF系列> ...
FaceBook机器学习开源DL模块
据GIGAOM报道,近日,Facebook人工智能研究院(FAIR)开源了一系列软件库,以帮助开发者建立更大.更快的深度学习模型.开放的软件库在Facebook被称作模块.用它们替代机器学习领域常用 ...
FFmpeg深度学习模块的历史、现状和计划
本文来自英特尔资深图形图像软件工程师郭叶军在LiveVideoStack线上分享的内容,详细介绍了FFmpeg中深度学习模块的历史.现状及未来计划,并针对深度学习模块总体架构与代码实践做详细解析. ...
Spark基础学习笔记10：Scala集成开发环境
文章目录零.本讲学习目标一.搭建Scala的Eclipse开发环境 (一)安装Scala插件 (二)创建Scala项目二.搭建Scala的IntelliJ IDEA开发环境 (一)启动IDEA ...
作为一名大数据工程师你需要掌握Spark深度学习
Tom M. Mitchell教授对于机器学习的定义对深度学习同样适用,深度学习是一种特殊的机器学习,它将现实世界表示为嵌套的层次概念体系(用较简单概念间的联系定义复杂概念,从一般抽象概括到高级抽象表 ...
Spark菜鸟学习营Day5 分布式程序开发
Spark菜鸟学习营Day5 分布式程序开发这一章会和我们前面进行的需求分析进行呼应,完成程序的开发. 开发步骤分布式系统开发是一个复杂的过程,对于复杂过程,我们需要分解为简单步骤的组合. 针对每 ...
June：Datawhale开源学习小程序升级啦！
1. 开源学习小程序的使用我们通过七个视频来介绍如何使用Datawhale开源学习小程序. 第一个视频:完善个人信息+报名组队学习报名前,请大家完善个人信息的填写,便于结课后证书发放. 切换到组队 ...
六一：如何在Datawhale开源学习小程序中管
我们的组队学习马上就要开营了,本次组队学习与以往不同的是小程序中增加了队伍管理的功能. 为了方便大家组队,Datawhale的六一同学为大家准备了在Datawhale开源学习小程序中队伍管理的教程 ...

Spark开源学习模块

Spark开源学习模块相关推荐

最新文章

热门文章