Prometheus 告警配置以及抑制规则inhibit

1.在prometheus.yml配置文件中进行告警规则文件的配置：

global:
# Rule files specifies a list of globs. Rules and alerts are read from
# all matching files.
rule_files:[ - <filepath_glob> ... ]
例如：- rules/br_alerts.yml  rules为相对路径

2.在告警的规则文件中进行具体的告警规则配置

## Alertmanager 配置文件
global:resolve_timeout: 5m# smtp配置smtp_from: "123456789@qq.com"smtp_smarthost: 'smtp.qq.com:465'smtp_auth_username: "123456789@qq.com"smtp_auth_password: "auth_pass"smtp_require_tls: true# 路由分组
route:receiver: opsgroup_wait: 30s # 在组内等待所配置的时间，如果同组内，30秒内出现相同报警，在一个组内出现。group_interval: 5m # 如果组内内容不变化，合并为一条警报信息，5m后发送。repeat_interval: 24h # 发送报警间隔，如果指定时间内没有修复，则重新发送报警。group_by: [alertname]  # 报警分组routes:- match:team: operations     #根据team标签进行匹配，走不同的接收规则receiver: 'ops'- match_re:service: nginx|apachereceiver: 'web'- match_re:service: hbase|sparkreceiver: 'hadoop'- match_re:service: mysql|mongodbreceiver: 'db'# 接收器指定发送人以及发送渠道
receivers:
# ops分组的定义
- name: opsemail_configs:- to: '9935226@qq.com,10000@qq.com'send_resolved: trueheaders:subject: "[operations] 报警邮件"from: "警报中心"to: "小煜狼皇"# 钉钉配置webhook_configs:- url: http://localhost:8070/dingtalk/ops/send# 企业微信配置wechat_configs:- corp_id: 'ww5421dksajhdasjkhj'api_url: 'https://qyapi.weixin.qq.com/cgi-bin/'send_resolved: trueto_party: '2'agent_id: '1000002'api_secret: 'Tm1kkEE3RGqVhv5hO-khdakjsdkjsahjkdksahjkdsahkj'# web
- name: webemail_configs:- to: '9935226@qq.com'send_resolved: trueheaders: { Subject: "[web] 报警邮件"} # 接收邮件的标题webhook_configs:- url: http://localhost:8070/dingtalk/web/send- url: http://localhost:8070/dingtalk/ops/send
# db
- name: dbemail_configs:- to: '9935226@qq.com'send_resolved: trueheaders: { Subject: "[db] 报警邮件"} # 接收邮件的标题webhook_configs:- url: http://localhost:8070/dingtalk/db/send- url: http://localhost:8070/dingtalk/ops/send
# hadoop
- name: hadoopemail_configs:- to: '9935226@qq.com'send_resolved: trueheaders: { Subject: "[hadoop] 报警邮件"} # 接收邮件的标题webhook_configs:- url: http://localhost:8070/dingtalk/hadoop/send- url: http://localhost:8070/dingtalk/ops/send# 抑制器配置
inhibit_rules: # 抑制规则- source_match: # 源标签警报触发时抑制含有目标标签的警报，在当前警报匹配 status: 'High'status: 'High'  target_match:status: 'Warning' # equal: ['alertname','operations', 'instance'] # 确保这个配置下的标签内容相同才会抑制，也就是说警报中必须有这三个标签值才会被抑制。

inhibit_rules：

Alertmanager的抑制机制可以避免当某种问题告警产生之后用户接收到大量由此问题导致的一系列的其它告警通知。例如当集群不可用时，用户可能只希望接收到一条告警，告诉他这时候集群出现了问题，而不是大量的如集群中的应用异常、中间件服务异常的告警通知。

当已经发送的告警通知匹配到target_match和target_match_re规则，当有新的告警规则如果满足source_match或者定义的匹配规则，并且已发送的告警与新产生的告警中equal定义的标签完全相同，则启动抑制机制，新的告警不会发送。

通过上面的配置，可以在alertname/operations/instance相同的情况下，high的报警会抑制warning级别的报警信息。

Prometheus 告警配置以及抑制规则inhibit_rules 说明相关推荐

prometheus告警配置
1. 摘要本文主要介绍,如何通过prometheus监控服务状态,并产生告警信息,已便于运维人员快速响应. 2. 整体架构本次设计用到prometheus服务,alertmanger服务,blac ...
通过Alertmanager实现Prometheus的告警告警配置(邮箱加钉钉)
通过Alertmanager实现Prometheus的告警告警配置 Prometheus本身不支持的告警功能,主要通过插件Alertmanager来实现告警.Alertmanager用于接收Prom ...
玩转prometheus告警 alertmanger（一）之prometheus告警规则
目录 1. 告警系统原理概述 2. 配置prometheus规则 2.1 配置告警规则目录 2.2 告警规则 3. 查看效果 1. 告警系统原理概述在开始之前,需要了解下prometheus和al ...
Prometheus 告警规则
Prometheus 告警规则 Prometheus官方内置的第三方报警通知包括:邮件. 即时通讯软件(如Slack.Hipchat).移动应用消息推送(如Pushover)和自动化运维工具(例如:P ...
prometheus告警规则管理
微型公众号:运维开发故事,作者:夏老师什么是Rule Prometheus支持用户自定义Rule规则. Rule分为两类,一类是Recording Rule,另一类是Alerting Rule.Re ...
alertmanager监控 Prometheus 告警，alertmanage配置邮件告警
1.搭建Prometheus,node及mysql参考该链接: 配置grafana展示prometheus监控数据 2.下载安装 alert manager: https://prometheus.i ...
5.prometheus告警插件-alertmanager、自定义webhook案例编写
5.prometheus告警插件-alertmanager 参考文章: https://www.bookstack.cn/read/prometheus-book/alert-install-aler ...
prometheus告警
1. 告警概述 prometheus的告警管理分为两部分.通过在prometheus服务端设置告警规则, Prometheus服务器端产生告警向Alertmanager发送告警. 然后,Alertma ...
Prometheus告警功能——对接邮箱
目录前言告警功能概述告警规则通知告警信息 prometheus监控系统的告警逻辑告警功能: 部署告警对接邮箱故障模拟前言 Prometheus对指标的收集.存储同告警能力分属于Prome ...
prometheus报警配置分类之alertmanager，多webhook地址配置。
需求:报警信息太多,需要筛选出来一部分,实现紧急处理,不紧急处理,然后发送到不同的群. 部署 prometheus 钉钉推送自定义监控配置 promql基础语法地址:https://blog.csd ...

Prometheus 告警配置以及抑制规则inhibit_rules 说明

Prometheus 告警配置以及抑制规则inhibit_rules 说明相关推荐

最新文章

热门文章