Hive分区表重建分区或数据文件变化更新表的统计信息

最近遇到Hive底层数据文件变化后，元数据库中的统计信息没有发生改变的情况。导致在Hive中使用count函数的时候统计出来的数据量不对，在此记一下解决方法。

外部表

Hive中运行ANALYZE TABLE 表名 COMPUTE STATISTICS;

分区表

Hive中运行ANALYZE TABLE 表名 PARTITION (需要重新计算的分区) COMPUTE STATISTICS;
根据实际情况运行以上两个命令对表进行重新统计计算。

也可以运行或者配置set hive.compute.query.using.stats=false;，但是这种方式会影响查询效率。

在其他地方看到的MSCK REPAIR TABLE 表名其作用是修复分区，把数据加载到分区中。但还是不会重新统计。

Hive分区表重建分区或数据文件变化更新表的统计信息相关推荐

hive分区用2个字段有何限制_关于Hive使用动态分区插入数据详解
1.创建一个单一字段分区表 hive> create table dpartition(id int ,name string ) partitioned by(ct string ); 2 ...
hive之动态分区插入数据及其参数配置
hive使用动态分区插入数据详解往hive分区表中插入数据时,如果需要创建的分区很多,比如以表中某个字段进行分区存储,则需要复制粘贴修改很多sql去执行,效率低.因为hive是批处理系统,所以hiv ...
oracle移动表空间的数据文件,移动Oracle表空间数据文件方案
方案一:移动常规表空间(非系统表空间)数据文件 /**************数据库服务器某个磁盘空间不足时移动常规表空间数据文件******** 方案一:移动常规表空间(非系统表空间)数据文件 /* ...
oracle为表空间增加数据文件,创建Oracle表空间,增加数据文件的步骤
经过长时间学习创建Oracle表空间,于是和大家分享一下,看完本文你肯定有不少收获,希望本文能教会你更多东西. 1.先查询空闲空间 select tablespace_name,file_id,blo ...
oracle analyze分区表,PostgreSQL Analyze分区表：主表与子表的统计信息问题
最近在PostgreSQL的Mail List中参与讨论了一个问题: ANALYZE'ing table hierarchies. 网友认为在Analyze分区表的时候,只能看到主表的analyze日 ...
Spark 调用 hive使用动态分区插入数据
spark 调用sql插入hive 失败 ,执行语句如下 spark.sql("INSERT INTO default.test_table_partition partition(prov ...
shell脚本练习,创建数据文件注册用户并将用户信息存入文件内,用于模拟登录时使用...
创建文件首先判断文件是否存在如果不存在才去创建注册用户名首先判断用户名是否存在运行结果如下转载于:https://www.cnblogs.com/lijianjie/p/9903113.ht ...
oracle数据表空间与数据文件,oracle的表空间及数据文件
一.默认表空间 Oracle 安装时会自动创建几个默认表空间,可以在 dba_tablespaces 这张表查看到默认表空间 : 说明: SYSTEM:管理任何其他表空间.它包含数据字典,有关数据库管 ...
oracle表空间追加数据文件,oracle数据库表空间追加数据库文件方法
mysql优化(初学) 写的时候遇到了SQL语句的优化问题,在网上搜了一些学习.http://blog.csdn.net/kennyrose/article/details/7532032 索引: 1 ...

Hive分区表重建分区或数据文件变化更新表的统计信息

外部表

分区表

Hive分区表重建分区或数据文件变化更新表的统计信息相关推荐

最新文章

热门文章