需求背景

根据我们的业务背景，需要监控3个纬度。

Iaas层：即腾讯云的基础设施CVM
Paas层：即使用的腾讯云Paas服务，各种中间件
Saas层：即我们本身的服务指标监控。

腾讯云监控，可以覆盖1，2场景, 我们只需根据业务需求配置告警策略即可。场景3-Saas层监控可以分为服务状态监控、异常日志监控和接口监控。

由于我们使用了微服务框架TSF，服务状态监控和异常日志监控都可以通过云监控策略进行覆盖。至于接口监控，云监控无法满足需求，主要原因是我们语言框架不是TSF支持spring cloud，我们使用的是golang，微服务框架是公司内部的trpc-go，TSF对此支持不够友好，无法使用TSF的服务/接口监控能力，因此我们只能使用其他监控工具来补齐。

监控需求分析

系统使用网关(可理解为nginx)作为接入层，且我们将访问日志存储到了elasticsearch数据库，因此我们可根据接口日志进行分析，使用grafana做可视化监控和告警，es作为数据源。

监控大盘效果

下图是的访问日志监控大盘。

监控配置

目前腾讯云grafana可以免费创建，内网访问只收取内网负载均衡费用，非常划算。

创建grafana, 可开启腾讯云SSO登录，方便团队其他成员访问；
配置数据源，Configuration => Data sources => add data source，根据业务存储选择数据源，例如选择Elasticsearch，配置好IP:Port和认证方式；
安装插件,见腾讯云文档，我在安装goshposh-metaqueries-datasource插件时失败，后面找腾讯云助手才解决问题，安装失败的时候，需要编辑配置文件Grafana.ini，添加配置项如下：

[plugins]
allow_loading_unsigned_plugins=goshposh-metaqueries-datasource

插件按需安装，我们添加metaqueries数据插件主要是需要进行聚合计算，例如计算请求成功率，计算所有是请求A，计算所有成功请求B，使用该插件即可写表达式: B/A 来表达成功率，插件帮忙文档见：https://grafana.com/grafana/plugins/goshposh-metaqueries-datasource/

配置监控大盘，按照业务需求创建监控面板，可参考帮助文档：https://grafana.com/tutorials/?utm_source=grafana_gettingstarted，我们业务的监控面板包括以下几项
- 每分钟请求成功率
- 每分钟请求耗时分区统计
- 每分钟httpCode分布
- 路由请求量/min
- 路由请求平均时延/min
- 路由失败请求时延/min
- path请求量/min
- path请求平均时延/min
- path失败请求时延/min
- 接口延时排序图
配置告警，腾讯云grafana已经打通云监控告警模版，可以选择已经配置好的通知人模版应用到grafana，如下图：

添加后，可以在每个告警面板里面配置告警策略，选择要通知的人。

踩坑总结

grafana 目前只能安装指定插件，但是我只能安装指定插件，不过基本上主流插件都囊括了，问题是在我安装goshposh-metaqueries-datasource 插件失败，找人工协助之后，添加插件配置后再次安装才成功。
grafana 添加mysql数据源失败，我给grafana创建mysql查询权限的账号，配置账号的ip时，直接查看了，内网IP如下图位置：

但是添加一直失败提示：db query error: query failed - please inspect Grafana server log for details

我怀疑时grafana管理控制台的内网ip不是真实的容器IP，于是找腾讯云小助手请教是不是真实的容器IP，小助手说是的，但是最后却一直无法添加数据源，小助手找到研发最终明确了这个内网IP是CLB的IP不是真实容器IP，最后他提供真实容器IP之后，才解决问题。

可视化监控告警-grafana相关推荐

服务器集群可视化监控-Prometheus+Grafana
监控软件 Prometheus 官网:https://prometheus.io/ 监控:monitor 监视我们的服务器或者服务,一旦出现问题,要告诉我们(告警),运维人员及时去处理,将公司的损失减 ...
k8s实战之部署Prometheus+Grafana可视化监控告警平台
写在前面之前部署web网站的时候,架构图中有一环节是监控部分,并且搭建一套有效的监控平台对于运维来说非常之重要,只有这样才能更有效率的保证我们的服务器和服务的稳定运行,常见的开源监控软件有好几种,如 ...
gpio引脚介绍树莓派3b_使用微创联合M5S空气检测仪、树莓派3b+、prometheus、grafana实现空气质量持续监控告警WEB可视化...
1.简介使用微创联合M5S空气检测仪.树莓派3b+.prometheus.grafana实现空气质量持续监控告警WEB可视化 grafana dashboard效果: 2.背景 2.1 需求: 1. ...
可视化监控指标展示工具 grafana 简介
目录 1.概述--美观.强大的可视化监控指标展示工具 1.1基本概念 2.全面瓦解 2.1登录grafana 2.2数据源配置 2.3仪表盘配置 3.特殊配置 3.1变量之interval 3.2变量 ...
3.Prometheus + Grafana实现可视化、告警
3.Prometheus + Grafana实现可视化.告警 3.1.什么是Grafana 3.2.快速入门 3.3.Grafana的下载 3.4.启动grafana 3.5.配置数据源 3.6.配置 ...
Prometheus+Grafana监控告警配置
文章目录 Prometheus介绍 Prometheus及其组件安装 Prometheus安装 PromQL介绍 mysqld_exporter组件安装 node_exporter组件安装 alert ...
Windows 搭建Prometheus + Grafana + Jmeter可视化监控平台
1.安装包下载 Prometheus 下载地址:Download | Prometheus windows_exporter下载:Releases · prometheus-community/win ...
linux vps 可视化监控,CentOS 7安装Grafana 4及结合Zabbix3.2实现可视化监控图形
已经介绍了如何在CentOS 7环境下安装Zabbix监控,本章继续介绍在CentOS 7环境下安装Grafana,并结合Zabbix实现可视化监控图形! 简介: Grafana 是 Graphite ...
构建ceph可视化监控（prometheu+grafana）
快速构建ceph可视化监控系统(在任意mon节点安装) 前言 ceph的可视化方案很多,本篇介绍的是比较简单的一种方式,并且对包都进行了二次封装,所以能够在极短的时间内构建出一个可视化的监控系统本系 ...

可视化监控告警-grafana