spark指定类型+列名将RDD转化成DataFrame

package lambda.sqlimport org.apache.spark.SparkContext
import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, SparkSession}/*** 演示sparksql-rdd-DATAFRAME --指定类型和列名** @Author wangyijie* @Date 2021/7/15 20:42* @Version 1.0*/
object Demo03 {def main(args: Array[String]): Unit = {// TODO 0.准备环境val spark: SparkSession = SparkSession.builder().appName("Demo02").master("local[*]").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("WARN")// TODO 1.加载数据val lines: RDD[String] = sc.textFile("")// TODO 2.处理数据val tupleRDD:RDD[(Int,String,Int)] = lines.map(line => {val arr: Array[String] = line.split(" ")(arr(0).toInt, arr(1), arr(2).toInt)})       //获取到了PersonrRDD// RDD->DFimport spark.implicits._ // 这里的spark是上面的定义生产的spark对象val personDF:DataFrame = tupleRDD.toDF("id","name","age")// TODO 3.输出结果personDF.printSchema()personDF.show()sc.stop()}}

spark指定类型+列名将RDD转化成DataFrame相关推荐

计算机二级日期格式,09年计算机二级辅导:指定格式的日期字符串转化成java.util.Date类型日期对象...
09年计算机二级辅导:指定格式的日期字符串转化成java.util.Date类型日期对象分类:计算机等级| 更新时间:2008-10-16| 来源:教育联展网将未指定格式的日期字符串转化成java ...
java 指定格式的date_指定格式的日期字符串转化成java.util.Date类型日期对象
将未指定格式的日期字符串转化成java.util.Date类型日期对象,代码如下: import java.text.DateFormat; import java.text.ParseExcepti ...
Hive数据分析——Spark是一种基于rdd（弹性数据集）的内存分布式并行处理框架，比于Hadoop将大量的中间结果写入HDFS，Spark避免了中间结果的持久化...
转自:http://blog.csdn.net/wh_springer/article/details/51842496 近十年来,随着Hadoop生态系统的不断完善,Hadoop早已成为大数据事实上 ...
学习笔记Spark（四）—— Spark编程基础（创建RDD、RDD算子、文件读取与存储）
文章目录一.创建RDD 1.1.启动Spark shell 1.2.创建RDD 1.2.1.从集合中创建RDD 1.2.2.从外部存储中创建RDD 任务1: 二.RDD算子 2.1.map与flat ...
Learning Spark中文版--第三章--RDD编程（1）
本章介绍了Spark用于数据处理的核心抽象概念,具有弹性的分布式数据集(RDD).一个RDD仅仅是一个分布式的元素集合.在Spark中,所有工作都表示为创建新的RDDs.转换现有的RDD,或者调 ...
Spark核心编程系列(一)——RDD详解
目录 Spark核心编程系列--RDD详解(一) RDD概念 RDD与IO之间的关系 RDD的核心属性 RDD执行原理基础编程 RDD创建 RDD的并行度与分区参考 Spark核心编程系列--RD ...
Spark论文思想之-基于RDD构建的模型（Shark的来龙去脉）
3.1 介绍首先RDD提供以下功能: 跨集群的不可变存储(在Spark中,记录是指Java Object) 使用键对数据进行分区控制考虑分区的粗粒度运算符由于是内存计算,所以低延迟 3.2 在R ...
【大数据开发】SparkCore——Spark作业执行流程、RDD编程的两种方式、简单算子
文章目录一.Spark作业执行流程(重点) 二.RDD编程 2.1创建RDD的⼆种⽅式: 2.2Transformation算⼦ 2.3Action算子三.简单算子(必须掌握) 3.1 map.m ...
Spark 读取CSV文件为RDD
Spark 读取CSV文件为RDD 1 准备数据在开始之前,假设我们在文件夹"c:/tmp/files"中有以下带有逗号分隔文件内容的 CSV 文件名,我使用这些文件来演示示例. ...

spark指定类型+列名将RDD转化成DataFrame

spark指定类型+列名将RDD转化成DataFrame相关推荐

最新文章

热门文章

spark指定类型+列名 将RDD转化成DataFrame

spark指定类型+列名 将RDD转化成DataFrame相关推荐

最新文章

热门文章

spark指定类型+列名将RDD转化成DataFrame

spark指定类型+列名将RDD转化成DataFrame相关推荐