sparkSQL之SQL风格的wordCount

//使用sparkSql完成wordCount
object wordCount_SQL {def main(args: Array[String]): Unit = {//1.创建sparkSessionval spark: SparkSession = SparkSession.builder().appName("wc").master("local[*]").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("WARN")//2.读取文件val df: DataFrame = spark.read.text("E:\\ideal_workspace\\spark\\day01\\words.txt")val ds: Dataset[String] = spark.read.textFile("E:\\ideal_workspace\\spark\\day01\\words.txt")//3.对每一行按照空格切开并压平//df.flatMap(_.split(" ")),df没有泛型，所以不知道_表示String,只能使用dsimport spark.implicits._val wordDS: Dataset[String] = ds.flatMap(_.split(" "))wordDS.show()//ds有泛型，所以编译器知道_表示String//4.注册表wordDS.createOrReplaceTempView("t_word")//5.wordCount查询val sql:String ="""|select value,count(value) as counts|from t_word|group by value|order by counts desc""".stripMarginspark.sql(sql).show()spark.stop()sc.stop()}}

sparkSQL之SQL风格的wordCount相关推荐

SparkSQL之DSL风格的wordcount
object WordCount_DSL {def main(args: Array[String]): Unit = {//1.创建sparkSessionval spark: SparkSessi ...
【大数据开发】SparkSQL——RDD、DataFrame、DataSet相互转换、DSL常用方法、SQL风格语法、Spark读写操作、获取Column对象的方式
take,takeAsList是Action操作 limit⽅法获取指定DataFrame的前n⾏记录,得到⼀个新的DataFrame对象.和take与head不同的是,limit⽅法不是Action ...
Spark SQL概述，DataFrames,创建DataFrames的案例，DataFrame常用操作（DSL风格语法），sql风格语法
一. Spark SQL 1． Spark SQL概述 1.1．什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作 ...
2021年大数据Spark（三十三）：SparkSQL分布式SQL引擎
目录分布式SQL引擎 Hive的SQL交互方式 ThriftServer JDBC/ODBC Server 开启sparksql的thriftserver 使用beeline 客户端连接 JDBC/ ...
❤️Spark的关键技术回顾，持续更新！【推荐收藏加关注】❤️
目录前言 Spark的关键技术回顾一.Spark复习题回顾 1.Spark使用的版本 2.Spark几种部署方式? 3.Spark的提交任务的方式? 4.使用Spark-shell的方式也可以交互 ...
2021年大数据Spark（二十七）：SparkSQL案例一花式查询和案例二WordCount
目录案例一:花式查询案例二:WordCount 基于DSL编程基于SQL编程具体演示代码如下: 案例一:花式查询 package cn.itcast.sqlimport org.apache. ...
Spark SQL:从入门到精通(一)[SparkSQL初体验]
入口-SparkSession 在spark2.0版本之前 SQLContext是创建DataFrame和执行SQL的入口 HiveContext通过hive sql语句操作hive表数据,兼容hiv ...
spark sql 上个月_Spark学习之路（十八）SparkSQL简单使用
一.SparkSQL的进化之路 1.0以前: Shark 1.1.x开始: SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: S ...
PySpark | SparkSQL入门 | DataFrame入门
文章目录一.快速入门 1. 什么是SparkSQL 2. 为什么要学习SparkSQL 3. SparkSQL特点二.SparkSQL概述 1. SparkSQL和Hive的异同 2. Spark ...

sparkSQL之SQL风格的wordCount

sparkSQL之SQL风格的wordCount相关推荐

最新文章

热门文章