一、Filebeat简介

Beats是Elastic Stack技术栈中轻量级的日志采集器，Beats家族包括以下五个成员:

Filebeat：轻量级的日志采集器，可用于收集文件数据。
Metricbeat：5.0版本之前名为Topbeat，搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据。
Packetbeat：收集网络流数据，可以实时监控系统应用和服务，可以将延迟时间、错误、响应时间、SLA性能等信息发送到Logstash或Elasticsearch。
Winlogbeat：搜集Windows事件日志数据。
Heartbeat：监控服务器运行状态。

二、Filebeat和Logstash

ELK架构中使用Logstash收集、解析日志，但是Logstash对内存、cpu、io等资源消耗比较高。相比 Logstash，Beats所占系统的CPU和内存几乎可以忽略不计。

Elasticsearch、Logstash、Kibana组合成为ELK Stack，Beats+ELK Stack=Elastic Stack

三、Filebeat工作原理

Filebeat是使用GO语言开发，工作原理如下：当Filebeat启动时，它会启动一个或者多个prospector监控日志路径或日志文件，每个日志文件会有一个对应的harvester，harvester按行读取日志内容并转发至后台程序。Filebeat维护一个记录文件读取信息的注册文件，记录每个harvester最后读取位置的偏移量。

四、Filebeat配置

下面是一个简单的Filebeat配置，采集2个文件夹下的日志并转发至Logstash。

filebeat:prospectors:-
      paths:- /dir1/access_log.*
      input_type: logdocument_type: dir1_log-
      paths:- /dir2/ofbiz.log.*
      input_type: logdocument_type: dir2_log
output:logstash:hosts: ["10.90.4.9:5044"]

在Logstash中根据 document_type定义解析日志的正则并输出到ELasticsearch集群。

input {beats{host => "192.2.11.145"port => 5044}
}
filter {if[type]=="dir1_log"{grok {match => { "message" => "%{COMBINEDAPACHELOG}"}}} else if ([type]=="dir2_log") {grok {match => { "message" => "%{TIMESTAMP_ISO8601:time}\s*%{NUMBER:logtime} \[\s*%{JAVAFILE:class}\:%{NUMBER:lineNumber}\s*\:%{LOGLEVEL:level}\s*\]\s*(?<info>([\s\S]*))"}}}
}
output {elasticsearch {hosts => ["10.90.4.9","10.90.4.8","10.90.4.7"]}
}

五、参考资料

https://www.elastic.co/guide/en/beats/filebeat/1.3/filebeat-overview.html

ELK日志处理之Filebeat工作原理相关推荐

2021年大数据ELK（十八）：Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Beats 简单介绍和FileBeat工作原理一.Beats 二.FileB ...
玩日志的你不了解 Filebeat ，就像搞结拜不认识关二爷！深度解析 Filebeat 工作原理，轻松玩转大数据！
文章目录深度解析 Filebeat 工作原理,轻松玩转大数据! 什么是 Filebeat Filebeat 工作原理 Filebeat 工作流图 Filebeat 组件图 Filebeat Harv ...
Filebeat+Kafka+ELK日志采集(二)——Filebeat
1.Filebeat概述 Filebeat用于日志采集,将采集的日志做简单处理(多行合并)发送至Kafka.Logstash.Elasticsearch等. 2.快速开始先以最简模型快速开始再讲原理 ...
ELK日志原理与介绍
为什么用到ELK: 一般我们需要进行日志分析场景:直接在日志文件中 grep.awk 就可以获得自己想要的信息.但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档.文本搜索太慢怎么办 ...
Filebeat+Kafka+ELK日志采集(一)
一.日志采集架构图: 二.模块功能说明: 2.1.filebeat Filebeat实现日志采集,采集指定路径的日志文件,并对日志格式.内容.字段等信息进行处理,发送至消息中间件.或发送至Logsta ...
深入浅出ELK日志收集系统搭建
先看一下目录图背景试想这么一种场景:Nginx负载了2个Tomcat,那么日志查看就很麻烦了,每次查看日志都要登录2台服务器,挨个搜索,2台还好,如果5台呢?10台呢?那查看日志就可费劲了,所以需 ...
路由及路由器工作原理深入解析3：路由与port
日志"路由及路由器工作原理深入解析1"http://user.qzone.qq.com/2756567163/blog/1438322342介绍了"为什么要使用路 ...
路由及路由器工作原理深入解析2：路由原理
日志"路由及路由器工作原理深入解析1"http://user.qzone.qq.com/2756567163/blog/1438322342介绍了"为什么要使用路由器&q ...
ELK日志分析平台（三）— kibana数据可视化、kibana监控、采集日志插件filebeat
1.kibana数据可视化--日志分析 [root@foundation50 network-scripts]# cd /mnt/pub/docs/elk/7.6/ [root@foundation5 ...
Springboot/Springcloud整合ELK平台，（Filebeat方式）日志采集及管理（Elasticsearch+Logstash+Filebeat+Kibana）
前言最近在搞一套完整的云原生框架,详见 spring-cloud-alibaba专栏,目前已经整合的log4j2,但是想要一套可以实时观察日志的系统,就想到了ELK,然后上一篇文章是socket异步 ...

ELK日志处理之Filebeat工作原理