hive partition insert时候设置动态分区

hive 种实现类似这种 (hive中不支持)
insert overwrite table ******** partition(dt = date_add(’{date}’,3))
select

1 第一种方法
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert into table ts.dyy_test partition(dt)
select a,b,date_sub(‘2019-03-23’,2) dt from asdf.sldfjkskdjfllsjkkf
where dt=‘2019-03-15’;

2。第二种方法
set hive.exec.dynamic.partition.mode=nonstrict;

SET runmdt = date_sub(current_date,5);
INSERT OVERWRITE TABLE amobe_tbl PARTITION (create_dt)
SELECT
cal_id,caller_name,location,
hiveconf:runmdtfromamobetblaWHEREa.createdtIN(selectDISTINCTcreatedtfrommtcallWHEREcreatedtbetweendatesub(currentdate,20)andcurrentdate)anda.createdt={hiveconf:runmdt} from amobe_tbl a WHERE a.create_dt IN ( select DISTINCT create_dt from mt_call WHERE create_dt between date_sub(current_date,20) and current_date) and a.create_dt=hiveconf:runmdtfromamobetblaWHEREa.createdtIN(selectDISTINCTcreatedtfrommtcallWHEREcreatedtbetweendatesub(currentdate,20)andcurrentdate)anda.createdt={hiveconf:runmdt};

参考：https://stackoverflow.com/questions/44886583/parameter-passing-to-partition-is-not-working-in-hive
和：https://www.cnblogs.com/amydi/p/10936204.html

hive partition insert时候设置动态分区相关推荐

数仓回刷历史数据--hive设置动态分区，并向动态分区内刷入历史数据
数仓回刷历史数据–hive设置动态分区,并向动态分区内刷入历史数据内容目录数仓回刷历史数据--hive设置动态分区,并向动态分区内刷入历史数据一.问题介绍二.问题解决思路 1 . 解决复杂逻辑 ...
Hive Distribute by 应用之动态分区小文件过多问题优化
目录 0 问题现象及原因分析 1 问题解决解决办法 2 由以上问题引出的问题 3 思考 4 小结 0 问题现象及原因分析现象: [Error 20004]: Fatal error occurre ...
Hive的分区（partition）-动态分区
Hive的分区声明:本文为博主参考网上资料整理的文章,未经博主允许不得转载,如有问题,欢迎指正. 一.概述分区是hive存放数据的一种方式.将列值作为目录来存放数据,就是一个分区.这样查询时使用分 ...
hive动态分区shell_Hive动态分区参数配置及语法
Hive本身是不支持动态分区的.. 但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..? 想要用动态分区要先做一些设置来修改默认的配置. ...
Hive动态分区参数配置及语法
Hive本身是不支持动态分区的.. 但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..? 想要用动态分区要先做一些设置来修改默认的配置. ...
hive静态分区，动态分区，分桶区别
文章目录绪论创建静态分区表 1.准备数据 2.建表语句 3.添加分区,加载数据 4.进入网页(50070)查看创建动态分区表 1.准备数据 2.建表语句 1.首先创建普通表 2.加载数据 3.创 ...
hive静态分区,动态分区 -夜幕思年华
脚本数据 person.txt 夜幕1,china 夜幕2,china 夜幕3,china 夜幕4,china 年华1,India 年华2,India 年华3,India 年华4,India - 静态 ...
hive动态分区，分区数据的几种插入方式，hive常用优化
首先列举下hive分区插入的方式: 1:从文件导入数据到hive指定分区方式 load data local inpath 'filepath' into table tableName partit ...
深圳大数据培训：大数据开发之掌握Hive的静态分区与动态分区
深圳大数据培训:大数据开发之掌握Hive的静态分区与动态分区分区是hive存放数据的一种方式.将列值作为目录来存放数据,就是一个分区. 这样查询时使用分区列进行过滤,只需根据列值直接扫描对应目录下的 ...

hive partition insert时候设置动态分区

hive partition insert时候设置动态分区相关推荐

最新文章

热门文章