Spark-Excel算子

0.写在前面

今天，我打算新开一个专栏，主要用于来总结分享Spark算子，后续内容请关注本专栏Spark算子合集
今天分享的第一篇文章就是利用Spark读取Excel数据。由于最近在做算法标签系统，由于数据打标数据采用Excel进行存储，因此我通过Spark读取Excel数据进行数据存储

1.pom.xml依赖

maven仓库中Spark-Excel依赖的地址为：https://mvnrepository.com/artifact/com.crealytics/spark-excel，于此同时还是需要导入Spark依赖的core和SQL的依赖。
下面是我使用的依赖

 <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.12</artifactId><version>3.1.2</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql --><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.12</artifactId><version>3.1.2</version></dependency><!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java --><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.47</version></dependency><!-- https://mvnrepository.com/artifact/com.crealytics/spark-excel --><dependency><groupId>com.crealytics</groupId><artifactId>spark-excel_2.12</artifactId><version>0.13.7</version></dependency>

3.创建运行环境

val conf = new SparkConf().setAppName("itoe_labelSystem").setMaster("local[*]")
val spark=SparkSession.builder().config(conf).getOrCreate()

4.定义表结构

//定义表结构val schema = StructType(List(StructField("id",StringType),StructField("equipID",StringType),StructField("faultID",IntType),StructField("reason",StringType),StructField("TimeStamp",DateType)))

关于数据类型在org.apache.spark.sql.types包下定义，可以进入包中选择适合自己的数据类型

5.DataFrame读取Excel

 spark.read.format("com.crealytics.spark.excel").option("dataAddress", "'sheet1'!A5:E8")//sheet1为工作簿名称，A5为左上角单元格地址，E8为左下角单元格地址，.option("header", "false")//是否使用头部.schema(schema)//加载表结构.load(path)//path 为Excel读取路径

Spark-Excel算子相关推荐

Spark学习之Spark RDD算子
个人主页zicesun.com 这里,从源码的角度总结一下Spark RDD算子的用法. 单值型Transformation算子 map /*** Return a new RDD by applyi ...
Spark action算子案例
在上篇文章中,我们对Spark中几种常用的transformation算子通过Java和Scala两种代码分别进行了案例演示,Spark transformation算子案例而在本文中,我们将继续 ...
spark算子大全glom_（七）Spark Streaming 算子梳理 — repartition算子
目录天小天:(一)Spark Streaming 算子梳理 - 简单介绍streaming运行逻辑天小天:(二)Spark Streaming 算子梳理 - flatMap和mapPartitio ...
Spark RDD算子（八）mapPartitions， mapPartitionsWithIndex
Spark RDD算子(八) mapPartitions scala版本 java版本 mapPartitionsWithIndex scala版本 java版本 mapPartitions mapP ...
Spark部分算子及使用
Spark部分算子及使用案例一:flatmap算子 def main(args: Array[String]): Unit = {val conf = new SparkConf().setAppN ...
Spark _30_SparkStreaming算子操作Driver HA
SparkStreaming算子操作 foreachRDD output operation算子,必须对抽取出来的RDD执行action类算子,代码才能执行. import org.apache.sp ...
Spark transformation算子案例
Spark支持两种RDD操作:transformation和action 在本文中,将对几个常用的transformation算子进行案例演示,采用Java和Scala两种语言对代码进行编写其中 ...
Spark RDD算子介绍
Spark学习笔记总结 01. Spark基础 1. 介绍 Spark可以用于批处理.交互式查询(Spark SQL).实时流处理(Spark Streaming).机器学习(Spark MLlib) ...
Spark常用算子讲解一
map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD,RDD之间的元素是一对一关系. >>> x = sc.parallelize([1,2,3,4]) &g ...
spark RDD算子大全
目录 map()&&flatMap() map()&&mapPartitions() mapPartitionsWithIndex() filter() take()& ...