Spark SQL数据类型

数字类型
- ByteType：代表一个字节的整数。范围是-128到127
- ShortType：代表两个字节的整数。范围是-32768到32767
- IntegerType：代表4个字节的整数。范围是-2147483648到2147483647
- LongType：代表8个字节的整数。范围是-9223372036854775808到9223372036854775807
- FloatType：代表4字节的单精度浮点数
- DoubleType：代表8字节的双精度浮点数
- DecimalType：代表任意精度的10进制数据。通过内部的java.math.BigDecimal支持。BigDecimal由一个任意精度的整型非标度值和一个32位整数组成
- StringType：代表一个字符串值
- BinaryType：代表一个byte序列值
- BooleanType：代表boolean值
- Datetime类型
  - TimestampType：代表包含字段年，月，日，时，分，秒的值
  - DateType：代表包含字段年，月，日的值
- 复杂类型
  - ArrayType(elementType, containsNull)：代表由elementType类型元素组成的序列值。containsNull用来指明ArrayType中的值是否有null值
  - MapType(keyType, valueType, valueContainsNull)：表示包括一组键 - 值对的值。通过keyType表示key数据的类型，通过valueType表示value数据的类型。valueContainsNull用来指明MapType中的值是否有null值
  - StructType(fields):表示一个拥有StructFields (fields)序列结构的值
    - StructField(name, dataType, nullable):代表StructType中的一个字段，字段的名字通过name指定，dataType指定field的数据类型，nullable表示字段的值是否有null值。

Spark SQL数据类型相关推荐

Spark SQL玩起来
标签(空格分隔): Spark [toc] 前言 Spark SQL的介绍只包含官方文档的Getting Started.DataSource.Performance Tuning和Distribut ...
python调用spark和调用hive_Spark(Hive) SQL数据类型使用详解(Python)
Spark SQL使用时需要有若干"表"的存在,这些"表"可以来自于Hive,也可以来自"临时表".如果"表"来自于Hi ...
Spark SQL读数据库时不支持某些数据类型的问题（Timestamp with local Timezone）
在大数据平台中,经常需要做数据的ETL,从传统关系型数据库RDBMS中抽取数据到HDFS中.之前开发数据湖新版本时使用Spark SQL来完成ETL的工作,但是遇到了 Spark SQL 不支持某些数 ...
spark sql 数据类型转换_Databricks 第9篇：Spark SQL 基础（数据类型、NULL语义）
Spark SQL 支持多种数据类型,并兼容Python.Scala等语言的数据类型.sql 一,Spark SQL支持的数据类型整数系列:函数 BYTE, TINYINT:表示1B的有符号整数 S ...
hive编程指南电子版_第三篇|Spark SQL编程指南
在<第二篇|Spark Core编程指南>一文中,对Spark的核心模块进行了讲解.本文将讨论Spark的另外一个重要模块--Spark SQL,Spark SQL是在Shark的基础之上 ...
Spark SQL JOIN操作代码示例
title: Spark SQL JOIN操作 date: 2021-05-08 15:53:21 tags: Spark 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据.分别创建 ...
spark sql基本使用方法介绍（转载）
spark sql基本使用方法介绍 Spark中可以通过spark sql 直接查询Hive或impala中的数据, 一.启动方法 /data/spark-1.4.0-bin-cdh4/bin/spa ...
Spark SQL概述，DataFrames,创建DataFrames的案例，DataFrame常用操作（DSL风格语法），sql风格语法
一. Spark SQL 1． Spark SQL概述 1.1．什么是Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作 ...
Spark SQL之RDD转DataFrame
准备文件首先准备好测试文件info.txt,内容如下: 1,vincent,20 2,sarah,19 3,sofia,29 4,monica,26 将RDD转成DataFrame 方式一:反射可 ...

Spark SQL数据类型

Spark SQL数据类型

Spark SQL数据类型相关推荐

最新文章

热门文章