ELK之filebeat、logstash多个topic配置

启动多个进程收集日志。直接output到kafka，output到不同的topic
cat filebeat.yml
filebeat.prospectors:
- input_type: log

paths:

- /home/test/job/logs/job-20*.log
document_type: job
tail_files: true
multiline.pattern: ^\[[0-9]{4}-[0-9]{2}-[0-9]{2}

multiline.negate: true

multiline.match: after

output.kafka:

hosts: ["192.168.1.99:9092"]
topic: job
partition.round_robin:
reachable_only: false

required_acks: 1
compression: gzip
max_message_bytes: 1000000
通过logstash节点会实时去kafka broker集群拉数据，转ES
[root@centos199 config]# cat job.conf
input {
kafka {
bootstrap_servers => "192.168.1.99:9092"
topics => ["job"]
codec => "json"
}
}
output {
elasticsearch {
hosts => ["192.168.1.99:9200"]
index => "job-%{+YYYY.MM.dd}"
template_overwrite => true
}
}

转载于:https://www.cnblogs.com/haoge92/p/9317903.html

ELK之filebeat、logstash多个topic配置相关推荐

ELK实战（一）Filebeat+Logstash发送Email告警日志（1）
ELK实战(一)Filebeat+Logstash发送Email告警日志(1) ELK应用案例典型ELK应用架构本次我使用的架构(Filebeat+Logstash发送Email告警日志) 使用的 ...
ELK+kafaka+filebeat实现系统日志收集与预警
ELK+kafaka+filebeat实现系统日志收集与预警总体的流程图如下 1.项目准备添加相关依赖 <dependencies><dependency><grou ...
filebeat + logstash 发送日志至kafka 入门
filebeat 官方文档配置文件 filebeat.yml filebeat.inputs:# Each - is an input. Most options can be set at the ...
filebeat+logstash收集错误日志发送邮件提醒
filebeat+logstash收集错误日志发送邮件提醒典型ELK应用架构因为只收集错误日志并且数据量并不是非常大所以简化流程使用filebeat+logstash发送异常日志软件版本说 ...
日志分析管理系统ELK+redis+filebeat搭建
日志分析平台建设方案 1.建设原因日志文件分散在各个应用服务器,人员需要远程登录才能查看日志,不利于服务器安全管控,加大服务器的风险各服务器日志配置不统一,分布杂乱,需要进行规范与管理日志文件信 ...
基于filebeat + logstash的日志收集方案
日志收集是一个很普遍的需求,各个服务的log日志,打点日志都需要收集起来做离线etl或实时分析.日志收集工具也有很多开源的可供选择,flume, logstash, filebeat等等. 目前3 ...
ELK部署+filebeat应用
系统配置:CentOS Linux release 7.6.1810 (2核1536M,机器配置问题,容易踩很多坑,特别是低配置,jvm参数可能需要去调整,不然起不来) ELK版本:7.10.2 el ...
企业级日志分析系统ELK（Elasticsearch , Logstash, Kibana）
企业级日志分析系统ELK(Elasticsearch , Logstash, Kibana) 前言一.ELK概述 1.ELK日志分析系统 2.ELK日志处理特点 3.Elasticsearch概述 ...
Centos7下使用ELK（Elasticsearch + Logstash + Kibana）搭建日志集中分析平台
Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在 ...

ELK之filebeat、logstash多个topic配置

ELK之filebeat、logstash多个topic配置相关推荐

最新文章

热门文章