spark-sql create table using orc

在分区表中使用不同建表方式，hive和spark-sql中insert overwrite data现象不同。

1.问题出现过程

1)spark-sql建表

CREATE TABLE t_using
(`user_no` STRING, `tt_slotid_req` STRING, `ks_slotid_req` STRING
,`model` STRING
, `follow_time` STRING, `bind_time` STRING, `reg_slotid` STRING
, `geo_show` STRING, `ip_show` STRING, `model_show` STRING, `tt_bid_mean` STRING, `pday` STRING
)
USING orc
OPTIONS (
`serialization.format` '1'
)
PARTITIONED BY (pday);

2)spark-sql插入数据

insert overwrite table t_using partition(pday)
select * from t0
where pday>='20220327' ;

3)spark-sql再次插入数据

insert overwrite table t_using partition(pday)
select * from t0
where pday='20220325' ;

现象：t_using表中pday>='20220327'被删除，只存在最近一次插入的数据pday='20220325'

4) hive中插入数据

insert overwrite table t_using partition(pday)
select * from t0
where pday='20220326' ;

现象：t_using表中pday='20220325'未被删除，并新增分区pday='20220326'

5) hive建表

该方式在hive中并不能建表；

6) 常见建表语句

stored as orc;;

hive和spark-sql均正常建表，且插入数据正常；

7) 总结

问题总结：在using orc建表(或其他using data source方式)下，hive和spark-sql insert overwrite table数据现象不一样。

2.问题解决

查询了很久，发现这个其实是spark-sql的语法,hive并没有：

INSERT OVERWRITE - Spark 3.0.0-preview Documentation

要想分区不被删除，需要在插入数据时指定插入的分区：

insert overwrite table t_using partition(pday='20220326')
select * from t0
where pday='20220326' ;

3.补充

另外spark-sql建表使用USING xxx建表的我也贴一下：

CREATE DATASOURCE TABLE - Spark 3.2.1 Documentation

spark-sql create table using orc相关推荐

SQL CREATE TABLE 语句（转）
CREATE TABLE 语句 CREATE TABLE 语句用于创建数据库中的表. SQL CREATE TABLE 语法 CREATE TABLE 表名称 ( 列名称1 数据类型, 列名称2 数据 ...
mysql create很多table,SQL CREATE TABLE 语句
原标题:SQL CREATE TABLE 语句 SQL CREATE TABLE 语句 CREATE TABLE 语句用于创建数据库中的表. 表由行和列组成,每个表都必须有个表名. SQL CREAT ...
SQL CREATE TABLE 语句/数据库建表
转自:SQL CREATE TABLE 语句 CREATE TABLE 语句 CREATE TABLE 语句用于创建数据库中的表. SQL CREATE TABLE 语法 CREATE TABLE 表 ...
SQL CREATE TABLE
CREATE TABLE 语句用于创建数据库中的表. 表由行和列组成,每个表都必须有个表名. SQL CREATE TABLE 语法 CREATE TABLE table_name ( column_ ...
如何使用 SQL CREATE TABLE 创建新表
文章目录一.创建表 1.1 表创建基础 1.2 使用 NULL 值 1.3 指定默认值二.更新表三.删除表四.重命名表五.小结本文介绍如何使用 SQL CREATE TABLE 创建新表, ...
SQL—— Create table as select 与使用select查询结果创建新表
Create table as select,有以下三种方式: create table table1 as select * from table2 where 1=2; 创建一个表结构与table ...
Exception in thread “main“ org.apache.spark.sql.AnalysisException: Table or view not found: user； li
出现次错误的原因是创建了全局 view,改成局部 view,去掉 Global
「Spark从入门到精通系列」4.Spark SQL和DataFrames：内置数据源简介
来源 | Learning Spark Lightning-Fast Data Analytics,Second Edition 作者 | Damji,et al. 翻译 | 吴邪大数据4年从业经 ...
Spark SQL 核心编程
文章目录 Spark SQL 核心编程 1.新的起点 2.SQL 语法 1) 读取 json 文件创建 DataFrame 2) 对 DataFrame 创建一个临时表 3) 通过SQL语句实现查询全 ...

spark-sql create table using orc

spark-sql create table using orc相关推荐

最新文章

热门文章