系列文章目录

实践数据湖iceberg 第一课入门
实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式
实践数据湖iceberg 第三课在sqlclient中，以sql方式从kafka读数据到iceberg
实践数据湖iceberg 第四课在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）
实践数据湖iceberg 第五课 hive catalog特点
实践数据湖iceberg 第六课从kafka写入到iceberg失败问题解决
实践数据湖iceberg 第七课实时写入到iceberg
实践数据湖iceberg 第八课 hive与iceberg集成
实践数据湖iceberg 第九课合并小文件
实践数据湖iceberg 第十课快照删除
实践数据湖iceberg 第十一课测试分区表完整流程(造数、建表、合并、删快照)
实践数据湖iceberg 第十二课 catalog是什么
实践数据湖iceberg 第十三课 metadata比数据文件大很多倍的问题

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

系列文章目录
概要
1. 从建立catalog的语句，了解catalog
2.hiveCatalog与hadoopCatalog异同
3.通过hive客户端访问iceberg
总结

概要

了解catalog是什么

1. 从建立catalog的语句，了解catalog

建catalog,db,表的语句。

CREATE CATALOG hive_catalog6 WITH ('type'='iceberg','catalog-type'='hive','uri'='thrift://hadoop101:9083','clients'='5','property-version'='1','warehouse'='hdfs:user/hive/warehouse/hive_catalog6'
);database 各个catalog是共享的
use catalog hive_catalog6;
create database iceberg_db6;create table `hive_catalog6`.`iceberg_db6`.`behavior_log_ib`(log STRING
)

catalog只是声明了，该catalog的文件存储格式是iceberg以及在hive中实际存储的路径。
使用哪个catalog，就是使用对应的数据格式、以及文件存储路径
具体的表需要建立在不同的database上。
database只需建立一次（例如mysql）。
catalog每次进入客户端都需要建一次catalog.

2.hiveCatalog与hadoopCatalog异同

相同点：都在hadoop上创建元数据
不同点：hiveCatalog会把元数据写一份到hive的metadata中
删除表时：直接删除hiveCatalog对应的hadoop文件，再用sql drop表会报错（报错信息大意是：通过元数据找到表，但hdfs的文件已经不存在）。

3.通过hive客户端访问iceberg

hive支持catalog的语法，能show database，use db, show tables;查到里面的表

总结

catalog只是声明了，该catalog的文件存储格式是iceberg以及在hive中实际存储的路径。

实践数据湖iceberg 第十二课 catalog是什么相关推荐

实践数据湖iceberg 第十四课元数据合并(解决元数据随时间增加而元数据膨胀的问题)
系列文章目录实践数据湖iceberg 第一课入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课在sqlclient中,以sql ...
实践数据湖iceberg 第二十四课 iceberg元数据详细解析
系列文章目录实践数据湖iceberg 第一课入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课在sqlclient中,以sql ...
实践数据湖iceberg 第三十七课 kakfa写入iceberg的 icberg表的 enfource ,not enfource测试
系列文章目录实践数据湖iceberg 第一课入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课在sqlclient中,以sql ...
实践数据湖iceberg 第三十四课基于数据湖icerberg的流批一体架构-流架构测试
系列文章目录实践数据湖iceberg 第一课入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课在sqlclient中,以sql ...
实践数据湖iceberg 第二十一课 flink1.13.5 + iceberg0.131 CDC(测试成功INSERT,变更操作失败)
系列文章目录实践数据湖iceberg 第一课入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课在sqlclient中,以sql ...
实践数据湖iceberg 第九课合并小文件
系列文章目录实践数据湖iceberg 第一课入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课在sqlclient中,以sql ...
实践数据湖iceberg 第五课 hive catalog特点
系列文章目录 @[TOC](文章目录) 前言不以完美记录做为目标.以记录自己学习过程为主线,进行记录,记录通过实践,来了解原理,并把这个实践过程分享给后来需要学习的同学. 本节:了解hive cat ...
python血条游戏代码_零基础快速学十二课Python完整游戏代码，使用「格式符%」来处理...
十二课Python不同数据类型的拼接方式,使用[格式符%]来处理不过它还没有全部解决:打印出每局结果,三局两胜打印最终战果.这就是版本3.0需要做的事情. 打印战果,三局两胜. 对比2.0版本,在3 ...
C#之windows桌面软件第十二课：电脑ADC值显示（上位机），记忆上次串口号，并用TrackBar控件显示ADC值
C#之windows桌面软件第十二课:电脑ADC值显示(上位机),记忆上次串口号,并用TrackBar控件显示ADC值 using System; using System.Collections.G ...

实践数据湖iceberg 第十二课 catalog是什么