hive partition

partition是hive提供的一种机制：用户通过指定一个或多个partition key，决定数据存放方式，进而优化数据的查询
一个表可以指定多个partition key，每个partition在hive中以文件夹的形式存在。

实例（static partition）：
编辑文件：/home/work/data/test3.txt; /home/work/data/test4.txt;
$ cat /home/work/data/test3.txt
1,zxm
2,ljz
3,cds
4,mac
5,android
6,symbian
7,wp

$ cat /home/work/data/test4.txt
8,zxm
9,ljz
10,cds
11,mac
12,android
13,symbian
14,wp

建表：
hive> create table student_tmp(id INT, name STRING)
> partitioned by(academy STRING, class STRING)
> row format delimited fields terminated by ',';
OK
Time taken: 6.505 seconds
id，name是真实列，partition列academy和class是伪列

load数据：(此处直接load数据进partition，在hive 0.6之前的版本，必须先创建好partition，数据才能导入)
hive> load data local inpath '/home/work/data/test3.txt' into table student_tmp partition(academy='computer', class='034');
Copying data from file:/home/work/data/test3.txt
Copying file: file:/home/work/data/test3.txt

hive partition相关推荐

Hive partition prune Failed
昨天发现线上的HiveQuery: select * from db1.t1where dt between to_char(getdate('variables','-40'),'yyyymmdd' ...
hive partition简介
一.背景 1.在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作.有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念. 2.分区表指的是在创建表 ...
hive partition insert时候设置动态分区
hive 种实现类似这种 (hive中不支持) insert overwrite table ******** partition(dt = date_add('{date}',3)) select ...
hive常用参数配置设置
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto ...
hive 配置参数说明
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) truehive.exec.mode.local.auto.in ...
java hive配置_Hive配置项的含义详解（1）
一个hive任务,如何才算是优化的任务,hadoop job config里哪些配置能影响hive的效率.看看hive的详细配置我们可以略知一二. hive的配置: hive.ddl.output.f ...
flume avro java 发送数据_flume将数据发送到kafka、hdfs、hive、http、netcat等模式的使用总结...
1.source为http模式,sink为logger模式,将数据在控制台打印出来. conf配置文件如下: # Name the components on this agent a1.source ...
flume将数据发送到kafka、hdfs、hive、http、netcat等模式的使用总结
1.source为http模式,sink为logger模式,将数据在控制台打印出来. conf配置文件如下: # Name the components on this agent a1.source ...
Hive配置文件中配置项的含义详解（收藏版）
这里面列出了hive几乎所有的配置项,下面问题只是说出了几种配置项目的作用.更多内容,可以查看内容问题导读: 1.hive输出格式的配置项是哪个? 2.hive被各种语言调用如何配置? 3.hive ...

hive partition

hive partition相关推荐

最新文章

热门文章