Flume中的HDFS Sink配置参数说明
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下。
channel
type:hdfs
path:写入hdfs的路径,需要包含文件系统标识,可以使用flume提供的日期及%{host}表达式。比如:hdfs://namenode/flume/webdata/
注:这里可以使用flume提供的日期相关表达式,常用的有, hdfs://hadoop-jy-namenode/data/qytt/flume/ttengine_api/dt=%Y-%m-%d/hour=%H
filePrefix:写入hdfs的文件名前缀,可以使用flume提供的日期及%{host}表达式。默认值:FlumeData
fileSuffix:写入hdfs的文件名后缀,比如:.lzo .log等。
inUsePrefix:临时文件的文件名前缀,hdfs sink会先往目标目录中写临时文件,再根据相关规则重命名成最终目标文件;
inUseSuffix:临时文件的文件名后缀。默认值:.tmp
rollInterval:hdfs sink间隔多长将临时文件滚动成最终目标文件,单位:秒。默认值:30,如果设置成0,则表示不根据时间来滚动文件;
注:滚动(roll)指的是,hdfs sink将临时文件重命名成最终目标文件,并新打开一个临时文件来写入数据;
rollSize:当临时文件达到该大小(单位:bytes)时,滚动成目标文件;默认值:1024,如果设置成0,则表示不根据临时文件大小来滚动文件;
rollCount:当events数据达到该数量时候,将临时文件滚动成目标文件;默认值:10,如果设置成0,则表示不根据events数据来滚动文件;
idleTimeout:当目前被打开的临时文件在该参数指定的时间(秒)内,没有任何数据写入,则将该临时文件关闭并重命名成目标文件;默认值:0
batchSize:每个批次刷新到HDFS上的events数量;默认值:100
codeC:文件压缩格式,包括:gzip, bzip2, lzo, lzop, snappy
fileType:文件格式,包括:SequenceFile, DataStream,CompressedStream,默认值:SequenceFile
- 当使用DataStream时候,文件不会被压缩,不需要设置hdfs.codeC;
- 当使用CompressedStream时候,必须设置一个正确的hdfs.codeC值;
maxOpenFiles:最大允许打开的HDFS文件数,当打开的文件数达到该值,最早打开的文件将会被关闭;默认值:5000
minBlockReplicas:写入HDFS文件块的最小副本数。该参数会影响文件的滚动配置,一般将该参数配置成1,才可以按照配置正确滚动文件。默认值:HDFS副本数
writeFormat:写sequence文件的格式。包含:Text, Writable(默认)
callTimeout:执行HDFS操作的超时时间(单位:毫秒);默认值:10000
threadsPoolSize:hdfs sink启动的操作HDFS的线程数。默认值:10
rollTimerPoolSize:hdfs sink启动的根据时间滚动文件的线程数。默认值:1
kerberosPrincipal:HDFS安全认证kerberos配置;
kerberosKeytab:HDFS安全认证kerberos配置;
proxyUser:代理用户
round:是否启用时间上的”舍弃”,这里的”舍弃”,类似于”四舍五入”,后面再介绍。如果启用,则会影响除了%t的其他所有时间表达式;默认值:false
roundValue:时间上进行“舍弃”的值;默认值:1
roundUnit:时间上进行”舍弃”的单位,包含:second,minute,hour,默认值:seconds
示例:
a1.sinks.k1.hdfs.path = /flume/events/%y-%m-%d/%H%M/%S
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.roundValue = 10
a1.sinks.k1.hdfs.roundUnit = minute
当时间为2015-10-16 17:38:59时候,hdfs.path依然会被解析为:/flume/events/20151016/17:30/00 因为设置的是舍弃10分钟内的时间,因此,该目录每10分钟新生成一个。
timeZone:时区。默认值:Local Time
useLocalTimeStamp:是否使用当地时间。默认值:flase
closeTries:hdfs sink关闭文件的尝试次数;默认值:0。如果设置为1,当一次关闭文件失败后,hdfs sink将不会再次尝试关闭文件,这个未关闭的文件将会一直留在那,并且是打开状态。设置为0,当一次关闭失败后,hdfs sink会继续尝试下一次关闭,直到成功。
retryInterval:hdfs sink尝试关闭文件的时间间隔,如果设置为0,表示不尝试,相当于于将hdfs.closeTries设置成1。默认值:180(秒)
serializer:序列化类型。其他还有:avro_event或者是实现了EventSerializer.Builder的类名。默认值:TEXT
下面的配置中,在HDFS的/tmp/lxw1234/目录下,每天生成一个格式为20151016的目录,目标文件每5分钟生成一个,文件名格式为:log_20151016_13.1444973768543.lzo。目标文件采用lzo压缩。
agent_lxw1234.sinks.sink1.type = hdfs
agent_lxw1234.sinks.sink1.hdfs.path = hdfs://cdh5/tmp/lxw1234/%Y%m%d
agent_lxw1234.sinks.sink1.hdfs.filePrefix = log_%Y%m%d_%H
agent_lxw1234.sinks.sink1.hdfs.fileSuffix = .lzo
agent_lxw1234.sinks.sink1.hdfs.useLocalTimeStamp = true
agent_lxw1234.sinks.sink1.hdfs.writeFormat = Text
agent_lxw1234.sinks.sink1.hdfs.fileType = CompressedStream
agent_lxw1234.sinks.sink1.hdfs.rollCount = 0
agent_lxw1234.sinks.sink1.hdfs.rollSize = 0
agent_lxw1234.sinks.sink1.hdfs.rollInterval = 600
agent_lxw1234.sinks.sink1.hdfs.codeC = lzop
agent_lxw1234.sinks.sink1.hdfs.batchSize = 100
agent_lxw1234.sinks.sink1.hdfs.threadsPoolSize = 10
agent_lxw1234.sinks.sink1.hdfs.idleTimeout = 0
agent_lxw1234.sinks.sink1.hdfs.minBlockReplicas = 1
参考:http://lxw1234.com/archives/2015/10/527.htm
Flume中的HDFS Sink配置参数说明相关推荐
- Flume中的HDFS Sink配置
Flume中的HDFS Sink配置参数说明 type:hdfs path:hdfs的路径,需要包含文件系统标识,比如:hdfs://namenode/flume/webdata/ filePrefi ...
- flume 中的 hdfs sink round 和roll
http://blog.csdn.net/kntao/article/details/49278239 http://flume.apache.org/FlumeUserGuide.html#exec ...
- flume组件之hdfs sink
简介 flume的三大组件 source\channel\sink对应着采集位置类型\缓存类型\下沉地类型 本文主要讲解sink中的hdfs sink的常见属性以及常见问题 常用属性 type:指定s ...
- Flume HDFS Sink配置详解
Name Default Description channel – type – 组件的名称,必须为:HDFS hdfs.path – HDFS目录路径,例如:hdfs://namenode/f ...
- Flume sinks案例HDFS Sink(每 5 秒在 hdfs 上创建一个新的文件夹)
参考网址:hdfs sinks %t Unix 时间戳,毫秒 %{host} 替换名为"host"的事件 header 的值.支持任意标题名称. %a 星期几的短名,即 Mon, ...
- linux配置apache文件大小,linux下apache中httpd.conf文件配置参数说明
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 linux下的apache服务器,我想大家都不陌生吧,前面我也有讲过apache服务器的配置及注意,今天57号网络技术分享平台的小编将为大家带来apach ...
- flume中hdfs sinks参数配置详解
Flume中的HDFS Sink应该是非常常用的,其中的配置参数也比较多,在这里记录备忘一下. channel type hdfs path 写入hdfs的路径,需要包含文件系统标识,比如:hdfs: ...
- 【Flume】【源码分析】flume中sink到hdfs,文件系统频繁产生文件,文件滚动配置不起作用?
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1 ...
- [ETL] Flume 理论与demo(Taildir Source Hdfs Sink)
一.Flume简介 1. Flume概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据: ...
最新文章
- xshell登录VMware虚拟机的初始设置
- ie中placeholder字体颜色兼容问题
- c++ vlc读取摄像头_Qt音视频开发1-vlc解码播放
- c++ vs 输出log到窗口_欧冠豪门碰撞,尤文vs巴萨,曼联vs红牛
- PWN-PRACTICE-BUUCTF-28
- access vba在新建查询前查看查询名是否存在
- Linux 命令(126)—— ssh 命令
- Helm 3 完整教程(六):在模板中使用 Helm 函数
- 简单的shell命令
- 安装java sdk,配置java环境
- AIDE手机编程初级教程(零基础向) 1.1 认识我的第一个应用
- 【快速、批量】修改图片格式
- 免费好用的的在线代码IDE网站,支持python
- html 引入 svg矢量图,前端可视化——SVG矢量图技术
- 【Java SE】数组的打印方式
- 为什么别人在微信卖东西不会被人拉黑
- python写窗体程序_python写窗口
- android手机邮件6,Android手机邮箱设置详细教程
- 【已解决】Windows Service服务 出现System.Security.SecurityException: 未找到源,但未能搜索某些或全部事件日志。不可访问的日志: Security。
- 超大文件上传-如何上传文件-大文件上传
热门文章
- 【考据】“烫烫烫”与“锟斤拷”的原理
- 精通python如何赚钱_用Python在休闲期月入5000千+!掌握生产工具,就能赚钱
- 为什么说想到Python中的装饰器是天才
- M3U8 文件格式简介
- 组策略管理(添加本地管理员、power users)
- ShareSDK for Android 第三方登录 授权与取消授权
- MySQL varchar类型的比较
- 【电气专业知识问答】问:发电机失磁异步运行故障如何处理?
- springboot项目打包为docker镜像并上传nexus私服
- CryptoTab 服务器_网络资讯:媒体服务器是什么