spark-steaming的2种操作

sparkStreaming支持2种操作:

1、转化操作(transformation)会生成一个新的DStream，转换操作分为无状态操作和有状态操作

a)无状态操作:例如map、filter、reduceByKey等都是无状态操作，因为它并没有使用之前批次的数据，操作的是每个时间区域中的数据，不会操作不同时间区域中的数据

b) 有状态操作:基于滑动窗口的转换操作和追踪状态变化的转化操作，有状态转化操作，则会整合不同时间区域内的数据

2、输出操作(out operation)会将数据写入到外部系统中（例如saveAStestFile等输出操作，调试的时候使用print操作它会将DStream中的前10个元素打印出来）

3、sparkStreaming为读取的数据启动接收器，接收器以任务的形式运行在应用的执行器进程中。(数据保存在执行器进程的内存中，和缓存RDD的方式一样)，并且默认把收集到的数据复制到另一个执行器进程中来保障容错性

spark-steaming的2种操作相关推荐

Spark Steaming快速入门
Spark Steaming Spark Streaming 简介什么是Spark Streaming Spark Streaming使用Spark Core的快速调度功能来执行流分析.它以小批量方 ...
RDD的两种操作（Transformation和Action）
RDD创建后就可以在RDD上进行数据处理.RDD支持两种操作:转换(transformation),即从现有的数据集创建一个新的数据集:动作(action),即在数据集上进行计算后,返回一个值给Dri ...
Spark6：Spark Steaming
Spark Steaming 一.流计算概述二.Spark Streaming 三.DStream 四.文件流操作五.套接字流参考一.流计算概述静态数据.流数据特点实时处理.主动推送大 ...
Spark Steaming流式日志过滤与分析
Spark Steaming流式日志过滤与分析这篇大概讲的是 spark steaming 监听 hdfs 的某个目录,当你在终端A使用 spark-submit 运行 Log2DB.py 文件后, ...
Spark与Iceberg整合查询操作-查询快照，表历史，data files Manifests 查询快照，时间戳数据...
1.8.6 Spark与Iceberg整合查询操作 1.8.6.1 DataFrame API加载Iceberg中的数据 Spark操作Iceberg不仅可以使用SQL方式查询Iceberg中的数据, ...
Storm与Spark、Hadoop三种框架对比
目录 Storm与Spark.Hadoop三种框架对比一.Storm与Spark.Hadoop三种框架对比二.hadoop的应用业务分析二.浅谈Hadoop的基本原理 Hadoop与Storm的 ...
2021年大数据Spark（九）：Spark On Yarn两种模式总结
目录 Spark On Yarn两种模式引入一.当一个MR应用提交运行到Hadoop YARN上时二.当一个Spark应用提交运行在集群上时注意 client 模式 cluster 模式总结 ...
linux 权限 x 表示,在Linux系统中,用户对目录拥有“x”权限,表示可以执行下列哪种操作?...
在Linux系统中,用户对目录拥有"x"权限,表示可以执行下列哪种操作? 更多相关问题通过花的中心只能作1个对称面称辐射对称花. 王叔和归纳了脉象( )种,规范了脉象名称. 车轮 ...
WINDOWS SERVER 2003 AD中的5种操作主机
在之前我们已经了解了在AD(活动目录)中创建林,域树和子域的方法,在一个域中,为了提高容错性和高可用性,我们建议大家在一个域中最好存在多台DC,每个DC维护域中相同的活动目录数据库.而这些DC是对等的 ...
android sharedpre,Android SharedPreferences四种操作模式使用详解_Android_脚本之家
Android SharedPreferences详解获取SharedPreferences的两种方式: 1 调用Context对象的getSharedPreferences()方法 2 调用Ac ...

spark-steaming的2种操作

sparkStreaming支持2种操作:

spark-steaming的2种操作相关推荐

最新文章

热门文章