Filebeat 使用 Modules 方式收集日志

2024-07-02 21:21:20

01 Filebeat模块配置

Filebeat中Modules配置官方文档：官方配置文档

filebeat配置文件/etc/filebeat/filebeat.yml，配置模块路径

# =========================== Filebeat modules ================================
filebeat.config.modules:# Glob pattern for configuration loadingpath: ${path.config}/modules.d/*.yml # 模块路径，绝对路径是`/etc/filebeat/modules.d/`# Set to true to enable config reloadingreload.enabled: truereload.period: 10s

02 Filebeat模块使用

2.1 激活Filebeat要采集的模块

激活模块，在终端执行命令

filebeat modules list # 查看启动的模块和未启动模块
filebeat modules enable nginx # 启动Nginx模块

该启动命令的实质其实就是修改了模块配置文件目录/etc/filebeat/modules.d/下对应模块配置文件的后缀，将disable去掉，所以启动模块也可以直接通过修改模块配置文件后缀实现，如下操作也可以实现模块启动

mv /etc/filebeat/modules.d/nginx.yml.disabled /etc/filebeat/modules.d/nginx.yml

2.2 修改模块的配置文件

修改对应模块的配置文件，以Nginx为例，修改Nginx日志为普通格式

# 打开模块配置文件
vim /etc/filebeat/modules.d/nginx.yml
# 修改模块配置文件内容如下，主要操作是添加日志文件路径
- module: nginx# Access logsaccess:enabled: truevar.paths: ["/var/log/nginx/access.log"]# Error logserror:enabled: truevar.paths: ["/var/log/nginx/error.log"]

2.3 查看Modules收集的日志

重新启动Filebeat并查看使用Modules收集的Nginx日志数据

systemctl restart filebeat
ab -n 10 -c 10 http://172.16.255.131/ # 压测产生日志数据

使用ES-head查看使用模块收集的日志数据如下图所示

2.4 区分Nginx正常日志和错误日志

从上图可以看出，使用fileset.name标签标识的内容区分Nginx的正常日志access和错误日志error。所以在索引设置中可以使用如下配置区分模块方式收集的Nginx日志类型

# ---------------------------- Elasticsearch Output ----------------------------
output.elasticsearch:hosts: ["172.16.255.131:9200"]indices:- index: "nginx-modules-access-%{[agent.version]}-%{+yyyy.MM}"when.contains:fileset.name: "access"- index: "nginx-modules-error-%{[agent.version]}-%{+yyyy.MM}"when.contains:fileset.name: "error"

2.5 查看模块分类型收集的日志

重新启动Filebeat并查看使用Modules收集的Nginx日志数据

systemctl restart filebeat
ab -n 10 -c 10 http://172.16.255.131/ # 压测产生日志数据

Filebeat 使用 Modules 方式收集日志相关推荐

flume三种方式收集日志的案例
exec 监测某个单一的文件 # user_action_log_src 这个名字可以任意取 agent1.sources = user_action_log_src # memoryChannel ...
Springboot/Springcloud整合ELK平台，（Filebeat方式）日志采集及管理（Elasticsearch+Logstash+Filebeat+Kibana）
前言最近在搞一套完整的云原生框架,详见 spring-cloud-alibaba专栏,目前已经整合的log4j2,但是想要一套可以实时观察日志的系统,就想到了ELK,然后上一篇文章是socket异步 ...
filebeat收集日志到elsticsearch中并使用ingest node的pipeline处理
filebeat收集日志到elsticsearch中一.需求二.实现 1.filebeat.yml 配置文件的编写 2.创建自定义的索引模板 3.加密连接到es用户的密码 1.创建keystore ...
filebeat收集日志+ELK架构、ELK监控
文章目录 filebeat 1.下载安装 2.修改配置模式 1)备份配置文件 2)收集文件日志,输出到文件中 3)收集日志输出到redis 1> 配置 2> 重启 3> 对端查看 4 ...
[kubernetes]-filebeat以sidecar模式收集pod日志
目的: 收集测试环境日志到kibana 定义日志收集相关配置的一个通配configmap test-filebeat-config.yaml #定义日志收集相关配置的一个通配configmap --- ...
Filebeat 收集日志的那些事儿
女主宣言最近因为云原生日志收集的需要,我们打算使用Filebeat作为容器日志收集工具,并对其进行二次开发,因此笔者将谈谈 Filebeat 收集日志的那些事儿.本文不涉及过具体的源码分析,希望通过 ...
ELK 使用filebeat替代Logstash收集日志
使用beats采集日志之前也介绍过beats是ELK体系中新增的一个工具,它属于一个轻量的日志采集器,以上我们使用的日志采集工具是logstash,但是logstash占用的资源比较大,没有beat ...
如何使用Graylog来收集日志？
当我们公司内部部署很多服务以及测试.正式环境的时候,查看日志就变成了一个非常刚需的需求了.是多个环境的日志统一收集,然后使用 Nginx 对外提供服务,还是使用专用的日志收集服务 ELK 呢?这就变成 ...
如何使用新一代轻量级分布式日志管理神器 Graylog 来收集日志
公众号关注「奇妙的 Linux 世界」设为「星标」,每天带你玩转 Linux ! 当我们公司内部部署很多服务以及测试.正式环境的时候,查看日志就变成了一个非常刚需的需求了.是多个环境的日志统一收集 ...

最新文章

热门文章