Hive几种导出数据方式

2019独角兽企业重金招聘Python工程师标准>>>

1.拷贝文件

如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path

2.导出到本地文件系统

--不能使用insert into local directory来导出数据，会报错 --只能使用insert overwrite local directory来导出数据

--hive0.11版本之前，只能使用默认分隔符^A(ascii码是\00001) insert overwrite local directory '/home/sopdm/wrk' select id,name,tel,age from sopdm.wyp;

--hive0.11版本之后，可以指定分隔符 insert overwrite local directory '/home/sopdm/wrk' row format delimited fields terminated by ',' select id,name,tel,age from sopdm.wyp;

--导出数据到多个输出文件夹 from employees se insert overwrite local directory ‘/tmp/or_employees’ select * se where se.cty=’US’ and se.st=’OR’ insert overwrite local directory ‘/tmp/ca_employees’ select * se where se.cty=’US’ and se.st=’CA’

3.导出到HDFS

--比导出文件到本地文件系统少了一个local insert overwritedirectory '/home/sopdm/wrk' select id,name,tel,age from sopdm.wyp;

--hive0.11版本之后，可以指定分隔符 insert overwritedirectory '/home/sopdm/wrk' row format delimited fields terminated by ',' select id,name,tel,age from sopdm.wyp;

4.导出到hive的另一张表

insert into table sopdm.wyp2 partition(age='25') select id,name,tel,age from sopdm.wyp;

5.使用hive的-e和-f参数命令导出数据

--使用hive的-e参数 hive –e “select * from wyp” >> /local/wyp.txt

--使用hive的-f参数, wyp.hql中为hql语句 hive –f wyp.hql >> /local/wyp2.txt

6.导出到关系型数据库放在sqoop中讲。

转载于:https://my.oschina.net/u/2381604/blog/799452

Hive几种导出数据方式相关推荐

学习笔记Hive（四） —— Hive应用（2）—— Hive导入及导出数据
四.Hive导入及导出数据通过HDFS直接导入导出通过Hive命令导入导出 4.1.Hive导入数据的语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRI ...
往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解
往hive数据仓库的表中导入数据,可以直接insert ,也可以选择load方式.当然也可以通过第三方工具如sqoop等将数据导入到hive当初.特别注意:hive虽然不会验证用户装载的数据和表的模式 ...
转载-SQL Server各种导入导出数据方式的比较
注:本文转载自 http://blog.csdn.net/nokiaguy/article/details/4684822 当我们建立一个数据库时,并且想将分散在各处的不同类型的数据库分类汇总在这个新 ...
Hive 之导入导出数据
一 Hive 导入数据 1.1 从本地文件系统导入 LOADDATA LOCAL INPATH '本地文件系统文件' [OVERWRITE] INTOTABLE table_name; 特点:从 ...
SQL Server数据库导入导出数据方式比较
在我们建立一个数据库时,并且想将分散在各处的不同类型的数据库分类汇总在这个新建的数据库中时,尤其是在进行数据检验.净化和转换时,将会面临很大的挑战.幸好SQL Server为我们提供了强大.丰富的数据 ...
Hive导入和导出数据
Hive导入数据 (1)从本地文件导入 load data local inpath 'test.txt' into table test; (2)从HDFS导入 load data inpath ' ...
hive三种元数据存储方式
hive本身不存储数据,借助hdfs存储数据,hive和关系型数据库一样是有表结构的,这些信息hive也存储在第三方软件中,如derby.mysql. 根据元数据的存储方式,hive的部署可以分为三种 ...
Sqoop MySQL hive 数据库导入导出数据
1.导入(从mysql导入hive) 场景:从一个mysql数据库的表中导入数据到hive表中 sqoop import \ --connect "jdbc:mysql://ip:3306/ ...
oracle导出到hive,从Oracle导出数据并导入到Hive
1.配置源和目标的数据连接源(oracle): 目标(Hive 2.1.1),需要事先将hive的驱动程序导入HHDI的lib目录中. Hive2.1.1需要的jar包如下:可根据自身情况更换had ...
解码中的AnnexB和avcC两种分割数据方式
目前 H.264 流行的包装方式有两种,一种叫做 AnnexB,一种叫做 avcC.对于这两种格式,各家的支持程度也不太一样,例如,Android 硬解码 MediaCodec 只接受 AnnexB ...

Hive几种导出数据方式

Hive几种导出数据方式相关推荐

最新文章

热门文章