Fluentbit tial-es 配置解析

[SERVICE]Flush         1 #buffer里的数据每隔1秒写到output插件里，这里写到ES里。Log_Level     info #fluent-bit的日志级别Daemon        offParsers_File  parsers.conf #指向了另外一个配置文件，里面配置所有的parser。HTTP_Server   OnHTTP_Listen   0.0.0.0HTTP_Port     2020[INPUT]Name              tail #指定了input插件的类型，这里是tail类型Tag              {{$Host}}_{{$ESIndex}}_{{.ContainerName}}_{{$i}}给采集的日志打个标签，后面filter和output根据这个标签选择数据源Path              /var/log/pods/${POD_UID}/{{.ContainerName}}/*.logPath_Key          filenameParser            dockerDB                /var/log/pods/${POD_UID}/{{.ContainerName}}/flb_std.db#记录哪个文件采集到哪一行DB.Sync           Full #internal SQLite engine用哪种方法同步数据到磁盘，full为安全优先#Key               logMem_Buf_Limit     5MB #一旦buffer里的数据超过Mem_buf_limit，tail就会暂停采集，直到buffer数据被flush到output。Skip_Long_Lines   On #跳过长度大于Buffer_Max_Size的行Buffer_Chunk_Size 32k #tail命令的buffer初始大小，具体作用和对性能的影响还需进一步研究Buffer_Max_Size   32k #tail命令的buffer最大值，具体作用和对性能的影响还需进一步研究Refresh_Interval  10 #定时扫描磁盘上的新文件的间隔。Rotate_Wait        5 #文件rotate后的等待一段时间后再继续监控这个文件，以防flush一些pending data， 具体作用和对性能的影响还需进一步研究 Ignore_Older       10d #忽略近十天来未更改的文件[FILTER]Name                modify #插件的类型Match               * #匹配到任何数据源Add node_name ${NODE_NAME}Add node_ip ${NODE_IP}Add pod_name ${POD_NAME}[OUTPUT]Name   es #插件的类型Match  {{.Host}}_{{.ESIndex}}* #匹配到tag为{{.Host}}_{{.ESIndex}}*的数据源Host   {{.HostName}} #es的hostname 可以是域名和ipPort   {{.Port}} #es的端口Index {{.ESIndex}} HTTP_User {{.UserName}}HTTP_Passwd {{.Password}}Pipeline #不要用Logstash_Format  On #是否采用类似logstash的index，可以根据时间设置index名字Logstash_Prefix logstash #索引名称的前缀Logstash_DateFormat %Y.%m.%d #名称后缀格式Time_Key  tail-time #Logstash_Format enabled的时候，每条记录会新产生一个时间戳Time_Key_Format %Y-%m-%dT%H:%M:%S #新时间戳的格式Generate_ID  On #对记录去重，可能有性能消耗。Trace_Output Off #打印elasticsearch API calls 调试的时候用。Logstash_Prefix_Key ttt #Retry_Limit     5 #传输失败后重试次数，默认为2，设置为False时，无限次重试

parsers.conf

[PARSER]Name        dockerFormat      jsonTime_Key    timeTime_Format %Y-%m-%dT%H:%M:%S.%L %zDecode_Field escaped_utf8 log
[PARSER]Name        json_parseFormat      jsonTime_Key    timeTime_Keep   OnTime_Format %Y-%m-%dT%H:%M:%S

关于ES中的时间理解：

默认日志入ES时会加上@timestamp字段，时间取值为日志入ES的时间，如果在PARSER中对日志中的时间字段（如time）进行解析，并且解析正确。则将解析正确的时间值赋给@timestamp字段。显现象如下：

Fluentbit tial-es 配置解析相关推荐

Apache入门篇（二）之apache 2.2.x常用配置解析
一.httpd 2.2.x目录结构 Cnetos 6.10 YUM安装httpd 2.2.x # yum install -y httpd 程序环境主配置文件:/etc/httpd/conf/http ...
python3.6爬虫环境安装要多少内存_Python3爬虫环境配置——解析库安装（附tesserocr安装方法）...
Python3爬虫环境配置--解析库安装(附tesserocr安装方法) 抓取网页代码后,第二步就是提取信息,为了方便程序设计,这里不采用繁琐的正则提取,利用社区里强大的Python解析库,如lxml ...
java读取ES配置生成ES管理类，获取ES连接
java读取ES配置生成ES管理类,获取ES连接 1.Elasticsearch是基于Lucene开发的一个分布式全文检索框架,向Elasticsearch中存储和从Elasticsearch中查询, ...
开源分布式中间件 DBLE Schema.xml 配置解析
文章来源:爱可生开源社区作者:张沈波 1.DBLE项目介绍 DBLE 是企业级开源分布式中间件,江湖人送外号 "MyCat Plus":以其简单稳定,持续维护,良好的社区环境和广 ...
java log 配置,java日志系统--log4j配置解析过程，源码分析
log4j 可以看成是非常类似jdk logger 结构 ,有个logger 与logManger 都是在logManger的静态块中初始化类,加载配置文件 Logger.getLogger(Test ...
【Mybatis 之应用篇】2_配置解析、属性名问题、日志、分页和注解开发
文章目录 Mabatis 四.配置解析 1.核心配置文件 2.environments(环境配置)☆ 3.properties(属性)☆ 4.typeAliases(类型别名)☆ 5.settings ...
（Mybatis）XML配置解析
文章目录 XML配置解析 1.核心配置文件 2.环境配置(environments) 3. 属性(properties) 4. 设置(settings) 5. 其他配置 6. 映射器(mappers) ...
nsq源码阅读笔记之nsqd（一）——nsqd的配置解析和初始化
配置解析 nsqd的主函数位于apps/nsqd.go中的main函数首先main函数调用nsqFlagset和Parse进行命令行参数集初始化, 然后判断version参数是否存在,若存在,则打 ...
MyBatis 源码解读-配置解析过程
首先我们要清楚的是配置解析的过程全部只解析了两种文件.一个是mybatis-config.xml 全局配置文件.另外就是可能有很多个的Mapper.xml 文件,也包括在Mapper 接口类上面定义的 ...
SpringBoot默认日志logback配置解析
SpringBoot默认日志logback配置解析前言今天来介绍下Spring Boot如何配置日志logback,我刚学习的时候,是带着下面几个问题来查资料的,你呢如何引入日志? 日志输出格式 ...

Fluentbit tial-es 配置解析

Fluentbit tial-es 配置解析相关推荐

最新文章

热门文章