hive元数据表tbls、parts、sds

说明

hive原数据表中sd_id在tbls、parts表中都存在，那么何时存在tbls表中存sd_id，何时在parts表中存呢？本文浅析。

1. tbls

hive> desc xxxdb.hive_mysql_tbls;
OK
col_name    data_type   comment
tbl_id                  bigint
create_time             int
db_id                   bigint
last_access_time        int
owner                   varchar(767)
retention               int
sd_id                   bigint
tbl_name                varchar(128)
tbl_type                varchar(128)
view_expanded_text      string
view_original_text      string

2. partitions

 > desc xxxdb.hive_mysql_partitions;
OK
col_name    data_type   comment
part_id                 bigint
create_time             int
last_access_time        int
part_name               varchar(767)
sd_id                   bigint
tbl_id                  bigint

3. sds

hive> desc xxxdb.hive_mysql_sds;
OK
col_name    data_type   comment
sd_id                   bigint
cd_id                   bigint
input_format            varchar(4000)
is_compressed           boolean
is_storedassubdirectories   boolean
location                varchar(4000)
num_buckets             int
output_format           varchar(4000)
serde_id                bigint
Time taken: 0.079 seconds, Fetched: 9 row(s)

在已知路径sds.location的情况下，查对应的table、db，怎么查呢？
既要从tbls表中，又要从partitions表中查，原因是sds_id可能存在tbls中，也可能存在partitions中：

对于非分区表：tbls -> (sd_id) <- sds
对于分区表：tbls-> (tbl_id) <- partitions -> (sd_id) <- sds

原因是，非分区表，在表级目录下，直接存文件；对于非分区表，文件是存在每个分区目录下的。

所以，想要tbls和sd联系起来，必须要一个子查询：

(select c.db_id,c.tbl_name,case when d.part_id is null then c.sd_idwhen d.part_id is not null then d.sd_idend as sdidfrom xxxdb.hive_mysql_tbls c left join xxxdb.hive_mysql_partitions d on c.tbl_id = d.tbl_id
) as e

hive元数据表tbls、parts、sds相关推荐

Hive 元数据表结构详解
元数据是基础,这篇文章值得一读. 本文介绍Hive元数据库中一些重要的表结构及用途,方便Impala.SparkSQL.Hive等组件访问元数据库的理解. 1.存储Hive版本的元数据表(VERSIO ...
HIVE元数据表/数据字典
表名说明 BUCKETING_COLS
Hive元数据信息表详解
1.存储Hive版本的元数据表(VERSION) 2.Hive数据库相关的元数据表(DBS.DATABASE_PARAMS) DBS:该表存储Hive中所有数据库的基本信息字段如下: DATABAS ...
hive 自定义元数据表_[一起学Hive]之十四-Hive的元数据表结构详解
关键字:Hive元数据.Hive元数据表结构之前在 "[一起学Hive]之一–Hive概述,Hive是什么"中介绍过,Hive自己维护了一套元数据,用户通过HQL查询时候,Hiv ...
Hive的元数据表结构详解（转自lxw1234）
本文介绍一下Hive元数据中重要的一些表结构及用途,以Hive0.13为例. 文章最后面,会以一个示例来全面了解一下,Hive的元数据是怎么生成和存储的. 13.1 存储Hive版本的元数据表(VER ...
clodera scm 数据库表信息和 hive元数据整理
一. cloudera 会将页面的数据存储到 SCM 中其表结构梳理(对应生产BAOFOO_SCM) AUDITS 登录信息.服务,角色重启.配置更改 PROCESSES 进程信息.这里面有很多信息 ...
Hive的元数据存储与元数据表
一.元数据(metadata) 元数据(Meta Date),主要记录数据仓库中模型的定义.各层级间的映射关系.监控数据仓库的数据状态及 ETL 的任务运行状态.一般会通过元数据资料库(Metadat ...
hive 元数据信息表解析
目录 1 概述 2 Hive元数据表结构 1.存储Hive版本的元数据表(VERSION) 2.Hive数据库相关的元数据表(DBS.DATABASE_PARAMS) 3.Hive表和视图相关的元数据 ...
[一起学Hive]之十四-Hive的元数据表结构详解
关键字:Hive元数据.Hive元数据表结构之前在 "[一起学Hive]之一–Hive概述,Hive是什么"中介绍过,Hive自己维护了一套元数据,用户通过HQL查询时候,Hiv ...

hive元数据表tbls、parts、sds

说明

1. tbls

2. partitions

3. sds

hive元数据表tbls、parts、sds相关推荐

最新文章

热门文章