SparkSQL之DSL风格的wordcount

object WordCount_DSL {def main(args: Array[String]): Unit = {//1.创建sparkSessionval spark: SparkSession = SparkSession.builder().appName("wc").master("local[*]").getOrCreate()val sc: SparkContext = spark.sparkContext//2、读取文件val ds: Dataset[String] = spark.read.textFile("E:\\ideal_workspace\\spark\\day01\\words.txt")//3、对每一行的数据进行切割import spark.implicits._val wordDs: Dataset[String] = ds.flatMap(_.split(" "))//wordDs.show()//4.数据查询wordDs.groupBy("value").count().orderBy($"count".desc).show()spark.stop()sc.stop()}}

SparkSQL之DSL风格的wordcount相关推荐

sparkSQL之SQL风格的wordCount
//使用sparkSql完成wordCount object wordCount_SQL {def main(args: Array[String]): Unit = {//1.创建sparkSess ...
定义一个DSL风格的LifecycleObserver(Kotlin)
package com.xyj.checkupgrade.extendimport androidx.lifecycle.Lifecycle import androidx.lifecycle.Lif ...
Spark SQL概述，DataFrames,创建DataFrames的案例，DataFrame常用操作（DSL风格语法），sql风格语法
一. Spark SQL 1． Spark SQL概述 1.1．什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作 ...
2021年大数据Spark（二十七）：SparkSQL案例一花式查询和案例二WordCount
目录案例一:花式查询案例二:WordCount 基于DSL编程基于SQL编程具体演示代码如下: 案例一:花式查询 package cn.itcast.sqlimport org.apache. ...
PySpark | SparkSQL入门 | DataFrame入门
文章目录一.快速入门 1. 什么是SparkSQL 2. 为什么要学习SparkSQL 3. SparkSQL特点二.SparkSQL概述 1. SparkSQL和Hive的异同 2. Spark ...
大数据之SparkSQL简介及DataFrame的使用
目录前言: 1.Spark SQL 1.1.Spark SQL概述 1.2.DataFrames 1.3.DataFrame常用操作总结: 目录前言: 本文主要介绍下SparkSQL以及Spar ...
Spark之SparkSQL实战
DataFrames 基本操作和 DSL SQL风格 UDF函数以及数据源: SparkSQL查询 Json数据准备 123 {"name":"Michael" ...
SparkSql学习笔记（包含IDEA编写的本地代码）
Spark SQL and DataFrame 1.为什么要用Spark Sql 原来我们使用Hive,是将Hive Sql 转换成Map Reduce 然后提交到集群上去执行,大大简化了编写MapR ...
Spark SQL:从入门到精通(一)[SparkSQL初体验]
入口-SparkSession 在spark2.0版本之前 SQLContext是创建DataFrame和执行SQL的入口 HiveContext通过hive sql语句操作hive表数据,兼容hiv ...

SparkSQL之DSL风格的wordcount

SparkSQL之DSL风格的wordcount相关推荐

最新文章

热门文章