hive3.0使用问题小记

1，使用spark读取hive或者使用hive 命令行查询表，发现列名被默认变成了TableName_FileName

解决办法：

如果通过hive-clinet命令行查询，只想对当前会话生效，执行如下命令即可：

> set hive.resultset.use.unique.column.names=false;

通过 set hive.cli.print.header = true;让查询结果显示表头即可进行验证。

> set hive.cli.print.header = true;
> select * from tableName limit 10;

如果想让配置对多有查询都生效，需要在hive配置文件hive-site.xml中添加配置，重启hive即可

<property> <name>hive.resultset.use.unique.column.names</name><value>false</value>
</property>

2，HDP3.0 集成了hive 3.0和 spark 2.3，然而spark却读取不了hive表的数据数据，准确来说是内表的数据。

原因

hive 3.0之后默认开启ACID功能，而且新建的表默认是ACID表。而spark3.0及以前版本还不支持hive的ACID功能，因此无法读取ACID表的数据.

Issues地址：https://issues.apache.org/jira/browse/SPARK-15348

解决办法:

修改以下参数让新建的表默认不是acid表：

hive.strict.managed.tables=false
hive.create.as.insert.only=false
metastore.create.as.acid=false

hive3.0使用问题小记相关推荐

大数据开发系列（六）----Hive3.0.0安装配置以及Mysql5.7安装配置
一.Hive3.0.0安装配置: (Hive3.1.2有BUG)hadoop3.1.2 Hive各个版本下载地址: http://archive.apache.org/dist/hive/,这里 ...
hive3.0 学习笔记~ 知识点（一）
hivesql DDL hive完整语法树 CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [DB_NAME].table_name [(col ...
Anaconda 环境下 R 包 ggraph_1.0.2 安装小记
由于微信不允许外部链接,你需要点击文章尾部左下角的 "阅读原文",才能访问文中链接. 记录一下今天在 Anaconda3 环境下 R==3.4.3 中安装 ggraph 的一些问题 ...
yii 2.0 代码阅读小记
1.\yii\base\object 设置了get/set属性...使用getName()获取属性名..构造函数中使用config初始化属性 2.\yii\base\Component 继承自Obje ...
linux9.0安装教程,RedHat Linux 9.0安装过程小记
第一次安装Linux,让我吃尽了苦头.我准备装两个系统:WINXP+Linux,因为家人也要用电脑,不可能让他们和我一样用Linux. 之前已经上网大概看了一下安装步骤,主要有下面四步: 1.预留安装 ...
Hive3.0.0自定义UDF函数获取每月结合国家法定节假日工作日数实现
1.客户需求根据每月工作日并结合国家法定节假日计算工作量(必须给我实现,我不管你们用什么方法) 2.现状由hive默认函数不支持该需求,那只好自己动手来写了,在不可能也要创造可能啊,毕竟客户god ...
android7 华为p9,华为P9升级EMUI（Android7.0）的小记
有段时间没有发博客了,再次来写写日记吧,分享一下我成功把华为P9升级为EMUI5(android n)的过程.截止我完成这篇文章时(16.12.08),还是不得不提的是官方尚未正式全面推送EMUI5, ...
做外挂小记(3)--C#调用读写内存类篇
http://hi.baidu.com/859729391/blog/item/d0465b86c252c72dc65cc3a5.html 这篇很简单了...呵呵......完全是C#知识,主要是如何 ...
Hive3.x数仓开发
文章目录一.数仓仓库概念二.数据仓库分层架构 ODS\DW\DA(ADS) ETL\ELT 三.Apache Hive 概述为什么使用Hive Hive和Hadoop关系四.Apache Hi ...

hive3.0使用问题小记

hive3.0使用问题小记相关推荐

最新文章

热门文章