scala aggregate函数

不分区

object Test1 {def main(args: Array[String]): Unit = {val ls=List(1,2,3,5)val res: Int = ls.aggregate(10)((x1, x2) => {x1+x2}, (y1, y2) => {y1+y2})println(res)}
}
运行结果：21

如下图所示，将初始值10赋值给x1，x2分别取列表中的每个值，与x1进行加运算，结果赋值给x1，由于没有分区，没有第二阶段的combine操作，第一阶段得到的结果就是最终结果

分区

由于par函数需要考虑机器cpu内核线程的数量，本例是在理想状态下进行说明，即有4个线程同时运行

object Test1 {def main(args: Array[String]): Unit = {val ls=List(1,1,1,1)val res: Int = ls.par.aggregate(10)((x1, x2) => {x1+x2}, (y1, y2) => {y1+y2})println(res)}
}
运行结果：44

如下图所示，使用了par函数，并行计算aggregate，在本例中，有四个线程并行计算，即初始值10赋值给了4个线程的x1，每个线程的x2分别获取列表中的1，进行阶段一的计算，之后阶段二combine操作用于聚集每个分区的结果

scala aggregate相关推荐

scala aggregate函数
将每个分区里面的元素进行聚合,然后用combine函数将每个分区的结果和初始值进行combine操作开启分区的效果: val rdd1 = List(1,2,3,4,5)val result: In ...
scala方法—aggregate
Scala中的aggregate方法这个函数还是比较有意思的,在spark中也会常常用到一.首先举一个计算字符串内字符出现次数的例子: //统计字母出现的频率映射 def strfreq(str: ...
scala基本语言结构以及函数算子（持续更新......）
一.什么是scala scala是一种编程式语言,函数是一个独立的类,可以自由传输:是一种纯面向对象的语言,它具备java的一切特性,并在其基础上进行了扩展. 二.scala的基本数据类型 2.变量和 ...
spark常用RDD算子汇总（java和scala版本）
github: https://github.com/zhaikaishun/spark_tutorial spark RDD的算子挺多,有时候如何灵活的使用,该如何用一下子想不起来,这一段时间将s ...
Spark中的键值对操作-scala
1.PairRDD介绍 Spark为包含键值对类型的RDD提供了一些专有的操作.这些RDD被称为PairRDD.PairRDD提供了并行操作各个键或跨节点重新进行数据分组的操作接口.例如,PairRD ...
Scala paralle
list.par def par: scala.collection.parallel.immutable.ParSeq[Int] val list = List(1,2,3,4,5) list.pa ...
scala List
方法描述 def +(elem: A): List[A] 前置一个元素列表 def ::(x: A): List[A] 在这个列表的开头添加的元素. def :::(prefix: List[A]) ...
scala Map入门到熟悉
在Scala中,有两种Map,一个是immutable包下的Map,该Map中的内容不可变:另一个是mutable包下的Map,该Map中的内容可变. //默认创建不可变map scala> v ...
scala Set入门到熟悉
//导入HashSet包 scala> import scala.collection.immutable.HashSet import scala.collection.immutable.H ...

scala aggregate

scala aggregate函数

不分区

分区

scala aggregate相关推荐

最新文章

热门文章