flume中HDFS IO error

flume配置：

kafka source + memory channel + HDFS sink

配置内容：

################################################################################
###### list the sources, sinks, channels for the agent named a1

a1.sources = s1
a1.channels = c1
a1.sinks = k1
###### properties for sources
# kafka-sourcce
a1.sources.s1.type = org.apache.flume.source.kafka.KafkaSource
a1.sources.s1.channels = c1
a1.sources.s1.zookeeperConnect = ceshi1:2181,ceshi2:2181,ceshi3:2181/kafka
a1.sources.s1.groupId = flume-consumer
a1.sources.s1.topic = TEST_s1
a1.sources.s1.batchSize = 1000
a1.sources.s1.batchDurationMillis = 1000
a1.sources.s1.kafka.consumer.timeout.ms = 100
a1.sources.s1.kafka.consumer.auto.offset.reset = smallest
# memory-channel
a1.channels.c1.type = memory
a1.channels.c1.capacity=10000
a1.channels.c1.transactionCapacity=1000
# HDFS-sink
a1.sinks.k1.channel=c1
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://192.10.1.84:8020/tmp/event/%Y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.useLocalTimeStamp = true
a1.sinks.k1.hdfs.filePrefix = events-
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
a1.sinks.k1.hdfs.batchSize = 1000
a1.sinks.k1.hdfs.rollInterval = 30
a1.sinks.k1.hdfs.rollSize = 1024
a1.sinks.k1.hdfs.rollCount = 0
a1.sinks.k1.hdfs.callTimeout = 40000

运行时报错如下：

HDFS IO error org.apache.hadoop.security.AccessControlException: Permission denied: user=flume, access=WRITE, inode="/xxx.tmp":hdfs:hdfs:drwxr-xr-x

错误原因：HDFS访问的路径对于flume用户没有权限。

解决方案：1. 找HDFS上目录权限为 drwxrwxrwx 的目录进行写入。

2. 或切换到hdfs用户，用命令 hadoop fs -chmod 777 /xxx 给xxx目录授权，随后进行写入。

flume中HDFS IO error相关推荐

flume中hdfs sinks参数配置详解
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下. channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs: ...
flume sink hdfs异常
1.异常消息如下: 016-08-26 14:19:17,704 (hdfs-sink1-call-runner-2) [ERROR - org.apache.flume.sink.hdfs.Abst ...
【Flume】【源码分析】flume中sink到hdfs，文件系统频繁产生文件，文件滚动配置不起作用？
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1 ...
Flume中的HDFS Sink配置
Flume中的HDFS Sink配置参数说明 type:hdfs path:hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/ filePrefi ...
Flume中的HDFS Sink配置参数说明
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下. channel type:hdfs path:写入hdfs的路径,需要包含文件系统标识,可以使用flum ...
Hhadoop-2.7.0中HDFS写文件源码分析（二）：客户端实现（1）
一.综述 HDFS写文件是整个Hadoop中最为复杂的流程之一,它涉及到HDFS中NameNode.DataNode.DFSClient等众多角色的分工与合作. 首先上一段代码,客户端是如何写文件的: ...
[C++]C++中的IO类
C++中的IO类 C++语言不直接处理输入输出,而是通过一组定义在标准库中的类型来处理IO.这些类型支持从设备读取数据,向设备写入数据的IO操作,设备可以是文件,控制台窗口等.还有一些类型允许内存IO ...
php上传 io err,【Dz上传附件】解决Discuz Server(IO)Error问题
[Dz上传附件]解决Discuz Server(IO)Error问题 2018-12-17 Discuz 上传文件时会碰到Discuz Server(IO)Error错误了,这个小编排查了许久没找到问 ...
Oracle 11g中的IO Calibrate（IO校准）--Automatic Degree of Parallelism(DOP)
Oracle 11g中的IO Calibrate(IO校准)--Automatic Degree of Parallelism(DOP) Oracle 11g中的IO Calibrate(IO校准) ...
Flash上传出现IO Error #2038的错误解决方法
1.问题最近在开发网盘系统的时候发现,上传大文件时会提示IO Error #2038 的错误.系统采用了PHP和Flash控件来上传文件,网上的资料表明出现此错误的可能原因包括: URL无效上传文 ...

flume中HDFS IO error

flume中HDFS IO error相关推荐

最新文章

热门文章