Could not create FileSystem for highly available storage path (hdfs://node7-1/flink/ha/flinkCluster)
2024-06-18 10:46:04
flink 集群 Standalone 模式 高可用部署无法启动已解决
hadoop , zookeeper,工作正常，flink-standalone 启动正常。在搭建HA集群时，集群启动未报错，查看jps时发现没有进程，查看日志出现如下内容：
具体报错信息
Shutting StandaloneSessionClusterEntrypoint down with application status FAILED. Diagnostics java.io.IOException: Could not create FileSystem for highly available storage path (hdfs://node7-1/flink/ha/flinkCluster)Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. For a full list of supported file systems, please see https://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/.Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.
大概报错信息
2020-10-29 14:17:05,708 INFO org.apache.flink.runtime.entrypoint.ClusterEntrypoint [] - Shutting StandaloneSessionClusterEntrypoint down with application status FAILED. Diagnostics java.io.IOException: Could not create FileSystem for highly available storage path (hdfs://node7-1/flink/ha/flinkCluster)at org.apache.flink.runtime.blob.BlobUtils.createFileSystemBlobStore(BlobUtils.java:103)at org.apache.flink.runtime.blob.BlobUtils.createBlobStoreFromConfig(BlobUtils.java:89)at org.apache.flink.runtime.highavailability.HighAvailabilityServicesUtils.createHighAvailabilityServices(HighAvailabilityServicesUtils.java:117)at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.createHaServices(ClusterEntrypoint.java:306)at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.initializeServices(ClusterEntrypoint.java:269)at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.runCluster(ClusterEntrypoint.java:211)at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.lambda$startCluster$0(ClusterEntrypoint.java:172)at org.apache.flink.runtime.security.contexts.NoOpSecurityContext.runSecured(NoOpSecurityContext.java:30)at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.startCluster(ClusterEntrypoint.java:171)at org.apache.flink.runtime.entrypoint.ClusterEntrypoint.runClusterEntrypoint(ClusterEntrypoint.java:520)at org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint.main(StandaloneSessionClusterEntrypoint.java:64)
Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Could not find a file system implementation for scheme 'hdfs'. The scheme is not directly supported by Flink and no Hadoop file system to support this scheme could be loaded. For a full list of supported file systems, please see https://ci.apache.org/projects/flink/flink-docs-stable/ops/filesystems/.at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:491)at org.apache.flink.core.fs.FileSystem.get(FileSystem.java:389)at org.apache.flink.core.fs.Path.getFileSystem(Path.java:292)at org.apache.flink.runtime.blob.BlobUtils.createFileSystemBlobStore(BlobUtils.java:100)... 10 more
Caused by: org.apache.flink.core.fs.UnsupportedFileSystemSchemeException: Hadoop is not in the classpath/dependencies.at org.apache.flink.core.fs.UnsupportedSchemeFactory.create(UnsupportedSchemeFactory.java:58)at org.apache.flink.core.fs.FileSystem.getUnguardedFileSystem(FileSystem.java:487)... 13 more问题解决
- 缺少hadoop的jar包，可以去 官网下载 ，找到flink-1.7.2-bin-hadoop28-scala_2.12.tgz ，我用的是flink1.11.2的，里面没有hadoop的jar包，flink-1.7.2里面有，flink-1.7.2以后的版本都没有了，下载也能应用到flink-1.11.2。
- 压缩包打开，找到目录flink-1.7.2-bin-hadoop28-scala_2.11.tar\flink-1.7.2\lib，找到flink-shaded-hadoop2-uber-1.7.2.jar，复制出来，上传到虚拟机中的flink-1.11.2的lib目录下，重新启动服务，集群启动起来
Could not create FileSystem for highly available storage path (hdfs://node7-1/flink/ha/flinkCluster)相关推荐
- idea启动提示 failed to create jvm error code -1 jvm path 的解决办法
之前修改了idea的idea64.exe.vmoptions 文件, 结果重启之后就提示类似上图的问题, 把参数删掉也提示这个, 百度搜解决方法, 重装idea, 重装jdk, 全都试过了, 都没能解 ...
- 【Flink 实战系列】Flink SQL 使用 filesystem connector 同步 Kafka 数据到 HDFS（parquet 格式 + snappy 压缩）
Flink SQL 同步 Kafka 数据到 HDFS(parquet + snappy) 在上一篇文章中,我们用 datastream API 实现了从 Kafka 读取数据写到 HDFS 并且用 ...
- flink1.12.0学习笔记第1篇-部署与入门
flink1.12.0学习笔记第 1 篇-部署与入门 flink1.12.0学习笔记第1篇-部署与入门 flink1.12.0学习笔记第2篇-流批一体API flink1.12.0学习笔记第3篇-高级 ...
- Flink集群部署OnYarn模式
文章目录 解压安装包 修改配置 用户环境变量 修改flink-conf.yaml 修改masters 修改works 修改zoo.cfg 小虫子:访问不了web页面 分发集群 on yarn的运行方式 ...
- Flink Standalone模式HA部署
Standalone Cluster HA 前面我们配置的 Standalone 集群实际上只有一个 JobManager,此时是存在单点故障的,所以官方提供了 Standalone Cluster ...
- 1. 使用 fluent-bit 采集文件
1. 使用 fluent-bit 采集文件 简介 Fluent Bit是一款快速.灵活的日志处理器,旨在收集.解析.过滤日志,并将日志发送到远程数据库,以便执行数据分析. 数据分析通常发生在数据存储和 ...
- Flink教程（03）- Flink环境搭建
文章目录 01 引言 02 Local本地单机模式 2.1 工作原理 2.2 安装部署 2.3 测试验证 03 Standalone独立集群模式 3.1 工作原理 3.2 安装部署 3.3 测试验证 ...
- 大数据Flink安装部署
目录 1 Local本地模式 1.1 原理 1.2 操作 1.3 测试 2 Standalone独立集群模式 2.1 原理 2.2 操作 2.3 测试 3 Standalone-HA高可用集群模式 3 ...
- Flink：从入门到放弃
文章目录 前言 一.Flink简介 1. Flink组件栈 2. Flink基石 3. Fink的应用场景 3.1 Event-driven Applications[事件驱动] 3.2 Data A ...
最新文章
- 毕业论文选题三步法
- 汉仪尚巍手书_汉仪尚巍手书免费版
- php分区表,【MYSQL】分区表
- LeetCode - Maximum Subarray
- 关于onload的事件权柄以及踩过的坑
- 【版本更新】CAD组件Aspose.CAD 9月新版V17.9发布 | 支持IFC格式
- 机器学习-极大似然估计
- 【交往智慧】002.和优秀的人接触
- junit测试一个方法，报test class not found in selected project
- 2018 ideal 链接数据_利用 IDEA HTTP 请求文件访问 API 接口
- 机械工程和人工智能关系
- 王小九用计算机弹桥边姑娘,抖音最火歌曲是哪首？QQ音乐开放平台《桥边姑娘》让“野狼”靠边站...
- 【Ubuntu20.04+ROS Noetic】ROS解决BUG日志【一】
- 带色彩恢复的多尺度视网膜增强算法（MSRCR）的原理、实现及应用
- matlab 数字和字符串转换
- 【Python工具】Python版本的天眼查，是不是就很nice啦 | 附带源码
- MIT CMS.300 Session 5 – UNWRITTEN RULES 游戏的潜在规则
- linux终端设置es副本数,elasticsearch之修改shards数
- 从零开始配置腾讯云 CDN
- MathJax：微积分常用符号