Postgresql - 监控 moniter

监控日志，之前介绍过一个第三方工具，pgbadger。非常的好用。

这次介绍其他的方法。1. 通过ELK监控日志。2. 借助filebeats，kafka，自己编写的监控脚本。

通过ELK监控日志

说是监控日志，其实ELK主要的功能是对文件进行收集和统计。比如某个数据库的错，在一段时间出现的次数。

1. 首先搭建kafka，logstash，kibana，ElasticSearch服务。

此处省略。

2. 在每个数据库服务器中，配置filebeats读取pg_log，并发送至kafka。

3. logstash作为kafka的消费者，读取PGLOG日志，并将日志格式化。将格式化好的数据插入到elasticsearch。

4. 将kibana配置好，展示es中的内容。

这时，我们可以通过kibana，展示所有服务器的pg log。延迟基本可以控制在1分钟（这要看硬件配置和压力大小）。我们30台服务器，平均每分钟数据库产生一万行日志。延迟基本可以保持在3--5秒内。

分享一下目前我们在使用的logstash解析日志的匹配

LOGLEVEL (PANIC|FATAL|LOG|ERROR|WARNING|NOTICE|INFO|DEBUG|DETAIL|STATEMENT|HINT|CONTEXT)
ACTION (%{DATA}:)
DUR (\d+\.\d+)
PGIPORHOST (?:%{IPORHOST}|\[local\])
PGUSER (?:%{DATA})
PGPREFIX %{DATESTAMP:timestamp} %{WORD:TZ} \[%{NUMBER:processid}\]\: (?<sessionlinenumber>\[\d+\-\d+\]) user=%{DATA:dbuser},db=%{DATA:dbname}?(%{PGIPORHOST:agentip})? %{LOGLEVEL:loglevel}:
POSTGRES %{PGPREFIX}%{SPACE}?(((duration: ?(%{DUR:postgres_duration:float}) ms)%{SPACE}?%{ACTION}%{SPACE}%{GREEDYDATA:postgres_message})|((%{ACTION:action})?({SPACE})?%{GREEDYDATA:postgres_message}))

对日志的监控。

因为ELK是对日志的收集和统计，我自己借助了kafka中的日志消息用python写了一个对日志的监控，当日单条错误大于20次时（只是针对于目前环境，针对于应用长时间报错），发送邮件告警。

1. 从kafka中读取日志。

2. 将日志做匹配，只过滤出错误日志。

3. 将错误日志记录到数据库。

4. 当有错误日志的时候，计算当日的错误数量，并记录到统计表中。

5. 当日单个错误数量超过20个时，发送告警。

6. 第二天将前日的错误日志记录通过cron job挪到历史表中。并清空前日记录。

有兴趣的朋友，可以通过github查看代码。

https://github.com/chuckchen1222/parse_pglog

Postgresql - 监控 moniter - 监控日志相关推荐

Linux/Unix shell 监控Oracle告警日志(monitor alter log file)
使用shell脚本实现对Oracle数据库的监控与管理将大大简化DBA的工作负担,如常见的对实例的监控,监听的监控,告警日志的监控,以及数据库的备份,AWR report的自动邮件等.本文给出Linu ...
Telegraf+InfluxDB+Grafana快速搭建实时监控系统监控postgresql
Telegraf+InfluxDB+Grafana快速搭建实时监控系统监控postgresql 转载于:https://www.cnblogs.com/gaoyuechen/p/10081026. ...
java分析日志文件_java程序如何对监控软件的日志文件进行如下分析？
一个监控软件的日志文件,内容如下: 日期时间接口设备状态 2016-09-01 08:00 J1 ...
资源放送丨《如何从零快速搭建一整套监控体系（日志采集+主机+数据库）》PPT视频...
前段时间,墨天轮分享了直播<如何从零快速搭建一整套监控体系(日志采集+主机+数据库)>,在这里我们共享一下PPT和视频,供大家参考学习. 客户转型去O使用分布式架构的情况下,作为DBA需要 ...
linux之同时监控多个日志文件变化
MultiTail是一个开源的ncurses的实用工具,可用于在一个窗口或单一外壳,显示实时一样的尾巴命令,该命令拆分控制台为更多子窗口的日志文件的最后几行(很像显示多个日志文件到标准输出屏幕命令 ) ...
PostgreSQL——不仅仅是监控
本文PPT来自数据库技术专家梁海安10月16日在2016年杭州云栖大会上发表的<分布式流处理框架--功能对比和性能评估>. PostgreSQL数据库在金融级监控和优化领域占据市场很大的份 ...
前端错误监控与错误日志
平时工作中没怎么接触到这部分,对它的了解也零零碎碎的.今天看了几篇文章,算是有个完整的认识了,在这里总结记录一下. 项目上线之后肯定无法避免所有的bug,有些bug出现后开发人员并不知道,有的知道了缺 ...
SonicWALL常见监控说明及日志查看
1.多核监控此页面用来监测防火墙内核到活动状态,纵坐标为内核使用率,横坐标为内核序号. 2.威胁监控此页面是用来展示防火墙所遇到的威胁次数,上方有全球与本防火墙两种选项,右侧为监控到时间段. 3. ...
Snare for Windows 3.1.7 - 监控系统事件日志
Snare for Windows 3.1.7 - 监控系统事件日志 Snare可以监控Windows事件日志 ,然后记录下来,然后通过udp协议传输到远程,适合监控大量服务器的运作情况 http:/ ...
整理全网Shell脚本合集，Java脚本，运维脚本，告警脚本，监控脚本，日志脚本，docker脚本等---------持续更新！
整理全网Shell脚本合集,Java脚本,运维脚本,告警脚本,监控脚本,日志脚本,docker脚本等---------持续更新! 一.ffmpeg脚本 1.1 打开进程,并判断进程数量 1.2 关闭进 ...

Postgresql - 监控 moniter - 监控日志

Postgresql - 监控 moniter - 监控日志相关推荐

最新文章

热门文章