Spark RDD Action
动作 | 含义 |
---|---|
reduce(func) | 通过func函数聚集RDD中的所有元素,这个功能必须是课交换且可并联的 |
collect() | 在驱动程序中,以数组的形式返回数据集的所有元素 |
count() | 返回RDD的元素个数 |
first() | 返回RDD的第一个元素(类似于take(1)) |
take(n) | 返回一个由数据集的前n个元素组成的数组 |
takeSample(withReplacement,num, [seed]) | 返回一个数组,该数组由从数据集中随机采样的num个元素组成,可以选择是否用随机数替换不足的部分,seed用于指定随机数生成器种子 |
takeOrdered(n, [ordering]) | |
saveAsTextFile(path) | 将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统,对于每个元素,Spark将会调用toString方法,将它装换为文件中的文本 |
saveAsSequenceFile(path) | 将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下,可以使HDFS或者其他Hadoop支持的文件系统。 |
saveAsObjectFile(path) | |
countByKey() | 针对(K,V)类型的RDD,返回一个(K,Int)的map,表示每一个key对应的元素个数。 |
foreach(func) | 在数据集的每一个元素上,运行函数func进行更新。 |
spark action
val rdd1 = sc.parallelize(List(1,2,3,4,5), 2) # 2是分区,就是task数量,默认是可用的核数
rdd1.saveAsTextFile(“hdfs://node:9000/test”) # 会有三个结果
val rdd = sc.textFile(“hdfs://node:9000/wc”)
rdd.partitions.length # 自动分配task,RDD最小的分区数量是2
rdd1.saveAsTextFile(“hdfs://node:9000/wc2”)
#collect
rdd1.collect
#reduce
val r = rdd1.reduce(+)
#count
rdd1.count
#top
rdd1.top(2)
#take
rdd1.take(2)
#first(similer to take(1))
rdd1.first
#takeOrdered
rdd1.takeOrdered(3)
Spark RDD Action相关推荐
- Spark RDD Action 简单用例(一)
collectAsMap(): Map[K, V] 返回key-value对,key是唯一的,如果rdd元素中同一个key对应多个value,则只会保留一个./** * Return the key- ...
- spark Rdd 操作transformaction和action等
为什么80%的码农都做不了架构师?>>> transformation是惰性的,只有action操作的时候,才会真正执行.spark有很多api,RDD的api只是spark的 ...
- Spark RDD算子(transformation + action)
概念 RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,它代表一个不可变.可分区.里面的元素可并行计算的集合.RDD具有数据流模 ...
- spark学习13(spark RDD)
RDD及其特点 1)RDD(Resillient Distributed Dataset)弹性分布式数据集,是spark提供的核心抽象.它代表一个不可变.可分区.里面的元素可并行计算的集合 2)RDD ...
- Spark学习之Spark RDD算子
个人主页zicesun.com 这里,从源码的角度总结一下Spark RDD算子的用法. 单值型Transformation算子 map /*** Return a new RDD by applyi ...
- Spark RDD概念学习系列之rdd持久化、广播、累加器(十八)
1.rdd持久化 2.广播 3.累加器 1.rdd持久化 通过spark-shell,可以快速的验证我们的想法和操作! 启动hdfs集群 spark@SparkSingleNode:/usr/loca ...
- Spark rdd 介绍,和案例介绍
1.2.创建RDD 1)由一个已经存在的Scala集合创建. val rdd1 = sc.parallelize(Array(1,2,3,4,5,6,7,8)) 2)由外部存储系统的数据集创建,包括本 ...
- 第二章 Spark RDD以及编程接口
第二章 Spark RDD以及编程接口 目录 Spark程序"Hello World" Spark RDD 创建操作 转换操作 控制操作 行动操作 注:学习<Spark大数据 ...
- spark RDD详解及源码分析
spark RDD详解及源码分析 @(SPARK)[spark] spark RDD详解及源码分析 一基础 一什么是RDD 二RDD的适用范围 三一些特性 四RDD的创建 1由一个已经存在的scala ...
最新文章
- 要求jQuery在执行某些操作之前等待所有图像加载的官方方式
- 使用Set求两个数组的并集|| 交集||差集
- shopex证书无法安装解决方法探讨
- 面对枯燥的源码,如何才能看得下去
- java笔试题_公司真题 | 用友2018秋招Java笔试题(四)
- 阿里云智能语音交互服务导览
- 吴恩达神经网络和深度学习-学习笔记-35-残差网络(Residual Network)
- 独生子女证每月增加3%的退休金,但丢了怎么办?
- Android Launcher 应用开发
- Mac/Linux/Windos下仿站工具,基于Python的仿站工具,earnp/imitation仿站工具
- windows定时截屏小工具
- 用Python写了一个微信聊天机器人
- opencv python 灰度化,opencv-python 图像灰度化
- wps的广告怎么彻底关闭
- php汽车保养oa,汽车行业oa管理系统
- 校内题目T2695 桶哥的问题——吃桶
- 电子制造企业如何做好供应商交期管理?可以从这3方面着手
- Failed to configure a DataSource
- php操作mysql数据_PHP - 操作MySQL数据库
- 计算机教室日常维护制度,现代信息技术教室管理制度
热门文章
- 蓝桥杯51单片机之利用中断实现倒计数与停表【单片机开发初学者掌握案例】
- android 上传头像工具类,Android开发中如何实现头像的更换与上传
- 董老师又双叒叕送书啦,8本《Python网络程序设计(微课版)》
- “好串”求解算法优化原理与Python实现
- 物联网应用层安全威胁_物联网安全国家标准发布,物联网安全产业链确立
- (C语言)素数是指大于1,且只能被1和它自身整除的正整数。现给定一个范围,请输出在此范围中素数的个数。
- KMP算法经典题目--实现 strStr()
- vba 指定列后插入列_Vba代码插入指定数量的空白行
- 利用python进行tf-idf算法绘制词云图_利用python实现通过TF-IDF和BM25提取文章关键词...
- java spin lock_JAVA 各种锁机制