使用scala语言实现wordcount程序

使用scala语言实现wordcount（统计单词出现的次数）：

object WordCount {def main(args: Array[String]): Unit = {val lines = List("hadoop hive spark scala","spark hive habase","hive spark java")//数据转换val mappedWords = lines.flatMap(_.split(" ").map(_.trim)).filterNot(_.isEmpty).map((_,1))println("---------------输出分割后的值-----------------")println(mappedWords)//根据数据进行分组val groupedWords: Map[String, List[(String, Int)]] = mappedWords.groupBy(tuple=>tuple._1)//每组进行数据计算println("---------------输出分组后的值-----------------")println(groupedWords)val result = groupedWords.map(tuple=>{//获得Word单词（key）val word = tuple._1//计算该Word对应的数量（value）val count = tuple._2.map(t=>t._2).sum//返回结果(word,count)})println("---------------输出合并后的值-----------------")println(result)println("---------------转换成list的值-----------------")println(result.toList)}
}

使用scala语言实现wordcount程序相关推荐

Scala语言实现WordCount案例以及几个高级函数的使用总结
实现案例前需要熟悉scala中集合的几个高级函数: 映射:集合.map() 即拿到集合中元素做某些处理,返回当前集合的类型. 扁平化:集合.flatten() 就是提取外层集合中的内层集合中的元素,打 ...
启动Spark Shell,在Spark Shell中编写WordCount程序，在IDEA中编写WordCount的Maven程序，spark-submit使用spark的jar来做单词统计
1.启动Spark Shell spark-shell是Spark自带的交互式Shell程序,方便用户进行交互式编程,用户可以在该命令行下用scala编写spark程序.要注意的是要启动Spark-S ...
scala和python的优缺点_基于Spark环境对比Python和Scala语言利弊
在数据挖掘中,Python和Scala语言都是极受欢迎的,本文总结两种语言在Spark环境各自特点. 本文翻译自 https://www.dezyre.com/article/Scala-vs-Py ...
Apache Spark学习：利用Scala语言开发Spark应用程序
Spark内核是由Scala语言开发的,因此使用Scala语言开发Spark应用程序是自然而然的事情.如果你对Scala语言还不太熟悉,可以阅读网络教程 A Scala Tutorial for Ja ...
09_Flink入门案例、word-count程序（java和scala版本）、添加依赖、Flink Streaming和Batch的区别、在集群上执行程序等
1.9.Flink入门案例-wordCount 1.9.1.开发工具 1.9.2.编写java版本word-count程序 1.9.2.1.添加Flink Maven依赖 1.9.2.2.编写word ...
scala语言的底层是java实现的_Scala学习笔记一（与Java、Jvm的关系以及程序执行流程分析）...
一.Scala语言与Java.Jvm的关系分析 Scala语言是马丁奥德斯基接触Java语言后,针对Java语言的特点,将函数式编程语言的特点融合到Java中,由此发明的.Scala语言和Java语言 ...
使用Scala语言编写Spark应用程序实现数据去重
使用Scala语言编写Spark应用程序实现数据去重一.题目需求二.建立目录结构 (一)创建 sparkapp4 文件夹并切换 (二)创建 data 文件夹(存放A.txt B.txt) (三)创 ...
Spark Scala语言学习系列之完成HelloWorld程序（三种方式）
三种方式完成HelloWorld程序分别采用在REPL,命令行(scala脚本)和Eclipse下运行hello world. 一.Scala REPL. windows下安装好scala后,直接C ...
idea写java spark程序,Spark : 在IDEA中用scala编写Spark的WordCount程序并提交运行
使用IDEA新建maven工程,添加相关依赖: 1.8 1.8 2.11.11 2.3.0 2.7.7 utf-8 org.scala-lang scala-library ${scala.versi ...

使用scala语言实现wordcount程序

使用scala语言实现wordcount程序相关推荐

最新文章

热门文章