Could not find any format factory for identifier ‘parquet‘ in the classpath

编写FlinkSQL读写hdfs上的parquet文件报错：

Caused by: org.apache.flink.table.api.ValidationException: Could not find any format factory for identifier 'parquet' in the classpath.

代码如下：

tEnv.executeSql("CREATE TABLE fs_table (\n" +"  id STRING,\n" +"  name STRING,\n" +"  age INT,\n" +"  `day` STRING\n" +") PARTITIONED BY (`day`) WITH (\n" +"  'connector'='filesystem',\n" +"  'path'='hdfs://127.0.0.1:8020/user/hive/warehouse/test.db/test2/',\n" +"  'format'='parquet',\n" +"  'sink.partition-commit.delay'='1 h',\n" +"  'sink.partition-commit.policy.kind'='success-file'\n" +")");

解决：添加flink-parquet依赖

<ependency><groupId>org.apache.flink</groupId><artifactId>flink-parquet_2.11</artifactId><version>${flink.version}</version>
</dependency>

Could not find any format factory for identifier ‘parquet‘ in the classpath相关推荐

FlinkSQL to Kafka连接器报错：could not find any factory for identifier ‘kafka‘ that implements
一.软件环境环境 & 软件版本 LinuxOS CentOS 7 Flink Standalone单节点测试集群 1.13.6 kafka 0.11.0 Zookeeper 3.4.5 二 ...
格式工厂去广告版|格式工厂(Format Factory)免费版下载 v4.8.0
点击下载来源:格式工厂去广告免费版 v4.8.0 格式工厂是一款功能强大且实用的格式转换工具,支持各种类型格式,列如视频.音频.图片等,相比是同行软件中来讲,是最广最全能的.只要有了Format Fa ...
【Flink】ValidationException: Could not find any factory for identifier json
文章目录 1.概述 1.概述转载:https://blog.csdn.net/sinat_23225111/article/details/118732656 在做 [Flink]Flink 1.1 ...
Flink Could not find any factory for identifier ‘json‘ that implements DeserializationFormatFactory
1. 现象在运行 Flink SQL 程序时,抛出如下异常: Exception in thread "main" org.apache.flink.table.api.Vali ...
【Flink】Flink SQL 自定义 Source format
1.概述转载:Flink SQL 自定义 Source format 1.背景由于 kafka 中的 json 属于嵌套,又不想二次序列化再把它展开,故自定义 format. 2.步骤 1.自定义 ...
Flink SQL JSON Format 源码解析
用 Flink SQL 解析 JSON 格式的数据是非常简单的,只需要在 DDL 语句中设置 Format 为 json 即可,像下面这样: CREATE TABLE kafka_source (fu ...
Spark创建hive表报错 ROW FORMAT DELIMITED is only compatible with ‘textfile‘, not ‘orc‘
创建hive表失败: 报错异常信息: Operation not allowed: ROW FORMAT DELIMITED is only compatible with 'textfile', n ...
Flink 1.12的CDC
基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案.随着Flink的不断迭代,其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便.本文将以Flink1.12为例,一一介 ...
使用了flink官方示例，尽然提交任务后报错了
使用了flink官方示例,尽然提交任务后报错了背景:参考flink的官方示例,开发FlinkSQL的ETL应用.ETL应用从kafka消费数据,经过数据处理,将处理后的结果数据下沉存储到Clickh ...

Could not find any format factory for identifier ‘parquet‘ in the classpath

Could not find any format factory for identifier ‘parquet‘ in the classpath相关推荐

最新文章

热门文章