1 flink-sql写parquet格式

1 参考链接

Parquet | Apache Flink

ParquetOutputFormat - parquet-hadoop 1.10.0 javadoc

FileSystem | Apache Flink

注意: 多个链接要结合起来看

2 连接文件系统

CREATE TABLE test_fs_table (iid STRING,local_time TIMESTAMP,dt STRING,dh STRING
) PARTITIONED BY (dt,dh) WITH ('connector'='filesystem','path'='out_path','format'='parquet','parquet.block.size'='128MB', -- 设定文件块大小'auto-compaction'='true', -- 开启自动合并小文件'compaction.file-size'='12MB', -- 合并文件大小'parquet.compression'='SNAPPY'  -- 指定压缩, 生成的文件名没有压缩类型标记
)

2 parquet文件生成规则

1) 数据量小, checkpoint内没超过parquet.block.size

2) 数据量较大, checkpoint内超过parquet.block.size

3) 文件回滚的条件

a.下个checkpoint来临

b.文件达到128M(parquet.block.size)

c.下个分区来临

3 小文件优化

影响因素:并行度、回滚时间、文件大小、checkpoint、compaction

1 flink-sql写parquet文件到

规则总结:

1)checkpoint时, 生成compact文件(立即可读), 下个checkpoint时删除uncompact(不可读)文件;

2) 只能合并单个checkpoint内的文件,不同checkpoint生成的文件是不会合并的;

3) 分区结束两个checkpoint后文件可用

参考链接:

Flink实战之合并小文件 - 简书

flink读写filesystem相关推荐

flink读写hive-代码方式
注意: flink读写hive有两种方式, 一种是connector方式, 一种是jdbc方式． jdbc因为性能上的问题,该方式没有尝试的意义． ########################## ...
Flink读写Mysql（Java版）
必须得创建好Mysql表 CREATE TABLE student (name VARCHAR(20),age INT); 读写代码创建实体类 public class Student {priva ...
Flink读写系列之-读HBase并写入HBase
这里读HBase提供两种方式,一种是继承RichSourceFunction,重写父类方法,一种是实现OutputFormat接口,具体代码如下: 方式一:继承RichSourceFunction p ...
Flink从入门到精通100篇（十五）-Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略
前言本文先通过源码简单过一下分区提交机制的两个要素--即触发(trigger)和策略(policy)的实现,然后用合并小文件的实例说一下自定义分区提交策略的方法. PartitionCommitTr ...
Flink读写系列之-读Kafka并写入Kafka
读写Kafka比较简单,官方提供了connector,也提供了例子可以参看,官网例子的GitHub地址: https://github.com/apache/flink/tree/master/fli ...
HBase读写的几种方式（三）flink篇
1. HBase连接的方式概况主要分为: 纯Java API读写HBase的方式: Spark读写HBase的方式: Flink读写HBase的方式: HBase通过Phoenix读写的方式: 第一 ...
Flink FileSystem的connector分析
文章目录前言 FileSystem的RollingSink FileSystem连接器的Exactly Once恢复语义 FileSystem Sink的文件状态转换 Checkpoint下的Exa ...
2021年大数据Flink（四十四）：扩展阅读 End-to-End Exactly-Once
目录扩展阅读 End-to-End Exactly-Once 流处理的数据处理语义 At-most-once-最多一次 At-least-once-至少一次 Exactly-once-精确一次 En ...
flink各版本变化和新增特性
1.6新特性 Flink 1.6-有状态流处理的下一步在Flink 1.6.0中,我们继续在较早版本中进行的基础工作:使Flink用户能够无缝地运行快速数据处理并毫不费力地构建数据驱动的数据密集型应 ...

flink读写filesystem

1 flink-sql写parquet格式

2 parquet文件生成规则

3 小文件优化

flink读写filesystem相关推荐

最新文章

热门文章