使用动态分区的方式为Hive中的分区表加载数据

2024-08-02 03:44:22

1.创建临时表，为临时表添加数据

Drop table if exists test.tmp;
create table test.tmp(shopid int,userid int,areaid int,shopname string,shoplevel tinyint,status tinyint,createtime string,modifytime string,dt string
)
row format delimited fields terminated by ',';
load data local inpath 'tmp.dat' into table test.tmp;

tmp.dat

105307,78921,100049,如山xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105308,78921,100236,美丽xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105309,78921,100063,Juxxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105310,78921,100235,兰思xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105311,78921,100016,LExxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105312,78921,100325,美乐xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105313,78921,100285,奥克xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105314,78921,100116,贝加xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105315,78921,100036,Caxxx授权店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01
105316,78921,100143,凯萨xxx旗舰店,1,1,2020-06-28,2020-07-01 13:22:22,2020-07-01

2.创建分区表

Drop table if exists test.ods_trade_shops;
create table test.ods_trade_shops(shopid int,userid int,areaid int,shopname string,shoplevel tinyint,status tinyint,createtime string,modifytime string
)
partitioned by(dt string)
row format delimited fields terminated by ',';

3.在hive命令行设置动态分区参数

set hive.exec.dynamic.partition=true; --此参数hive0.9.0版本开始默认就为true,使用hive0.9.0及以上版本可以不用设置

set hive.exec.dynamic.partition.mode=nonstrict;

4.为分区表动态加载数据

insert into table test.ods_trade_shops
partition(dt)
select * from test.tmp;

使用动态分区的方式为Hive中的分区表加载数据相关推荐

在TensorFlow中使用pipeline加载数据
正文共2028个字,6张图,预计阅读时间6分钟. 前面对TensorFlow的多线程做了测试,接下来就利用多线程和Queue pipeline地加载数据.数据流如下图所示: 首先,A.B.C三个文件通 ...
PyTorch训练中Dataset多线程加载数据，比Dataloader里设置多个workers还要快
PyTorch训练中Dataset多线程加载数据,而不是在DataLoader 背景与需求现在做深度学习的越来越多人都有用PyTorch,他容易上手,而且API相对TF友好的不要太多.今天就给大家带 ...
【PyTorch训练中Dataset多线程加载数据，比Dataloader里设置多个workers还要快】
文章目录一.引言二.背景与需求三.方法的实现四.代码与数据测试五.测试结果 5.1.Max elapse 5.2.Multi Load Max elapse 5.3.Min elapse 5 ...
微信小程序数据拼接_最佳方式实现微信小程序分页加载数据
一般小程序做分页加载数据,会做一些下拉加载更多.然后上拉刷新的操作.数据放在一个for循环里去加载,数据源是一个数组对象.在加载下一页数据时,将下一页的数据拼到当前数组后面.这样的确可以实现分页加载数 ...
bootstrap 数据加载中提示_解决Quartz定时器中查询懒加载数据no session的问题
作者:下一秒升华出自:CSDN 原文:blog.csdn.net/u013815546/article/details/53032445 相信大家在web开发过程中一定遇到过一种情况,Class班级 ...
新手教程：不写JS，在MIP页中实现异步加载数据
从需求谈起:在 MIP 页中异步加载数据 MIP(移动网页加速器) 的加速原理除了靠谱的 MIP-Cache CDN 加速外,最值得一提的就是组件系统.所有 JS 交互都需要使用 MIP 组件实现 ...
Android中ListView分页加载数据
熟悉Android的朋友们都知道,不管是微博客户端还是新闻客户端,都离不开列表组件,可以说列表组件是Android数据展现方面最重要的组件,我们今天就要讲一讲列表组件ListView加载数据的相关内容 ...
关于easyUI 中treegrid异步加载数据的问题
老技术最近在用记录一下写的方式. $('#dgproject').treegrid({queryParams: { //传递额外的值},url: '',//接口method: '',//请求方式loa ...
hive中的分区表与视图
Hive主要由用户接口模块.驱动模型以及元数据存储模块3个模块组成: 用户接口模块用户接口模块包括CLI.Hive网页接口(Hive Web Interface,HWI).JDBC.ODBC.T ...
Hive外部分区表加载flume打到hdfs上文件，读不到.tmp文件
摘要 flume打到hdfs上时,按照文件大小生成文件,在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上,hive外部表也会加载这些文件,但是当文件完成后.tmp会消失,这时候hive会报 ...

最新文章

热门文章