mysql慢日志采集_EFK搜集MySQL慢日志

前提已经安装好EFK

1.在MySQL节点安装td-agent

http://packages.treasuredata.com.s3.amazonaws.com/3/redhat/7/x86_64/td-agent-3.4.1-0.el7.x86_64.rpm

yum install -y td-agent-3.4.1-0.el7.x86_64.rpm

2.在MySQL节点安装mysqlslowquery插件

td-agent-gem install fluent-plugin-mysqlslowquery

3.修改MySQL节点的td-agent配置

vim /etc/td-agent/td-agent.conf

#td-agent.conf

workers 10

@include /etc/td-agent/conf.d/*.conf

vim /etc/td-agent/conf.d/source.conf

#source.conf@type mysql_slow_query

path/var/log/mysql/slow.log

path_key file_path

tag mysqld.slowlog

pos_file/var/log/td-agent/mysql-slow.log.pos@type none

vim /etc/td-agent/conf.d/match.conf

#match.conf@type forward

send_timeout 60s

recover_wait 10s

hard_timeout 60sname td-0host10.224.16.77port24224weight60

然后启动MySQL节点的td-agent服务，查看日志有无报错

5.在EFK节点修改td-agent配置

vim /etc/td-agent/conf.d/match.conf

@type elasticsearch

host10.224.16.77port9200user elastic

password tima@123logstash_formattruelogstash_prefix fluentd.${tag} # index名称

然后重启td-agent服务

6.在kibana添加或刷新索引，查看数据是否搜集成功

mysql慢日志采集_EFK搜集MySQL慢日志相关推荐

大数据项目之电商数仓、日志采集Flume配置概述、日志采集Flume配置实操
文章目录 4. 用户行为数据采集模块 4.3 日志采集Flume 4.3.2 日志采集Flume配置概述 4.3.2.1 TailDirSource 4.3.2.2 KafkaChannel 4.3. ...
Kubernetes入门——Kubernetes日志采集与监控告警
作者简介: 郭川磊百度基础架构部研发工程师负责云原生产品的研发本文基于百度云原生团队『云原生基础知识概述及实践』系列视频课程--『Kubernetes入门-Kubernetes实现应用高可用』梳 ...
容器日志采集利器Log-Pilot
容器时代越来越多的传统应用将会逐渐容器化,而日志又是应用的一个关键环节,那么在应用容器化过程中,如何方便快捷高效地来自动发现和采集应用的日志,如何与日志存储系统协同来高效存储和搜索应用日志.本文将主要 ...
Logtail 文件日志采集之完整正则模式
前言为了简化文件日志的采集过程,Logtail 提供了按行采集的极简模式:通过换行符来切分日志,每行作为一条日志.极简模式具有高效.配置简单等优势,但它将整条日志的内容作为整体,而不会对单条日志的内 ...
SLS多云日志采集、处理及分析
场景描述本文根据用户业务场景不同分别采用Logtail和Log producer写入阿里云日志服务,针对未使用其他日志采集服务的用户,推荐在第三方云平台或线下IDC服务器安装logtail采集并使用 ...
Logtail从入门到精通（二）：开启日志采集之旅
摘要: 为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍. Logtail相关概念为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍. 概念介绍 ...
如何进行日志采集设定和时间同步
一.日志采集格式的设定 vim /etc/rsyslog.conf 进入日志采集格式设定: 设定日志格式如下: $template WESTOS, "%timegenerated% %FRO ...
k8s部署-49-k8s日志采集的解决方案思路梳理
k8s中的日志怎么能方便查看呢?总不能每次都登录到各个容器中进行查看吧,是否能实现k8s日志的统一管理呢? 一.k8s日志输出和传统服务对比二.常用的k8s日志解决方案是什么 1.远程日志就是说在 ...
Nxlog——日志采集神器简介
(本来打算一本正经的写一篇文章,但是发现一本正经的写我根本就写不出来(´∇｀) ) 当我们开始设计日志系统的时候,我们要考虑的第一个事情就是用什么方式采集客户机上面的日志.而今天要给大家介绍的这款日志 ...
Python日志采集
通常在前期调试代码的时候,我们会使用print在IDE控制台打印一些信息,判断运行情况.但在运行整个自动化测试项目的过程中,通过print打印信息的方式获取运行情况显然行不通. 这时就需要收集日志,每 ...

mysql慢日志采集_EFK搜集MySQL慢日志

mysql慢日志采集_EFK搜集MySQL慢日志相关推荐

最新文章

热门文章