hive分隔符_Hive踩过的坑-hive多个分隔符的问题

今天就说说hive多个分隔符的问题。

多分隔符(列)这个问题，也是之前同事给我一份文件我才发现的...

这份文件上列分隔符是@#|

hive建表时,ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|' 直接用@#|，发现输出的字段和文件不一致。

CREATE EXTERNAL TABLE IF NOT EXISTS hjx_temp_ua_190605

(

id String,ua_cut String,user_num String,ua String

)

ROW FORMAT DELIMITED FIELDS TERMINATED BY '@#|'

LINES TERMINATED BY '\n'

location '/user/jfa5d/hjx_temp/ua_temp/';

查了资料，hive创建表指定分隔符时，不支持多个字符作为分隔符(只支持单个)。

Hive多分隔符支持

CREATE EXTERNAL TABLE IF NOT EXISTS hjx_temp_ua_1906052

(

id String,ua_cut String,user_num String,ua String

)

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="@#|")

stored as textfile location '/user/jfa5d/hjx_temp/ua_temp2/';

关键语句为：

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe' WITH SERDEPROPERTIES ("field.delim"="@#|")

stored as textfile location '/user/jfa5d/hjx_temp/ua_temp2/';

好了，菜鸡埋坑结束..

hive分隔符_Hive踩过的坑-hive多个分隔符的问题相关推荐

hive的load踩过的坑
load: hive中load命令的使用语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITI ...
hive创建分区表指定分隔符_HIVE 对于分区表的操作
CREATE EXTERNAL TABLE IF NOT EXISTS data_zh( ROWKEY STRING, STATION INT, YEAR INT, MONTH INT, DAY IN ...
hive创建分区表指定分隔符_hive建表语句行分隔符
如何生成hive的建表语句 hivesql sql - 获取指定hive表或指定文件中所有hive表的DDL,如果有按天的分区则默认执行最近7天的分区DDL.同时,table支持符合sql语法的正则表 ...
Hive安装中遇到过的坑
实现说明每一个用户的环境都有细微的不一致,所以这里只是个人经过这些坑的处理,但是不意味着所有处理都是这样的操作,仅作为参考. 第一个坑数据库安装,数据库最好装在Linux上,一直出了很多错,这里有一 ...
ubutun安装MySQL hive配置_Hive安装以及部署(Ubuntu-MySql)
下载Hive安装包 http://hive.apache.org/downloads.html 根据需求下载相应的安装包解压安装默认的数据存放路径hdfs:/user/hive/warehouse/ ...
java hive配置_Hive配置项的含义详解（1）
一个hive任务,如何才算是优化的任务,hadoop job config里哪些配置能影响hive的效率.看看hive的详细配置我们可以略知一二. hive的配置: hive.ddl.output.f ...
hive遍历_Hive解析流程-抽象语法树生成
HiveQL解析流程: Hive根据Antlr定义的词法.语法规则完成词法.语法分析将HQL解析为AST Tree: 遍历AST Tree,抽象出查询的基本组成单元Query Block: 遍历Que ...
hive on tez集成完整采坑指南(含tez-ui及安全环境)
hive on tez 介绍 tez是hive官方推荐的一个有向无环图的执行引擎,从测试结果来看,相对于mr是数量级上的提升使用版本 hadoop 3.1.1 hive 3.1.0 tez 0.9. ...
excel文件导入hive乱码_hive 从Excel中导入数据
拿到Excel表后将数据保留,其他的乱七八糟都删掉,然后另存为txt格式的文本,用nodepad++将文本转换为UTF-8编码,此处命名为cityprovince.txt 将cityprovince. ...

hive分隔符_Hive踩过的坑-hive多个分隔符的问题

hive分隔符_Hive踩过的坑-hive多个分隔符的问题相关推荐

最新文章

热门文章