最初建立这套系统的目的：
  1. 每天要看N多业务指标，只恨一双眼睛不够用，经常有些关键业务指标没有及时发现。波动拐点已经过了几天了，才发现下降或上升了。
  2. 接口波动监控全覆盖，无需设定预设阈值。现在有1500左右的接口，使用预设静态阈值的方式，维护和管理阈值的得花多少心思。在AI再崛起的时刻，咱们在监控方面也搞点稍微有点科技含量的、能提高工作效率的事情。
因此有一个最低的原则——最大限度的减少人工干预的程度，除了
采集模块——设定采集任务；
监控模块——设定监控分组；
       其它都是通过业务流和维护模块自己保证数据在各模块间正常的流转。同时 采集任务和监控任务也支持后台数据库快速配置。
 
       我们的目标不单完成了，而且还可以通过全覆盖的监控，让我们：
  1. 大大小小的不稳定问题全部都暴露出来了。不在像以前一些问题，没有用户反馈，不知道，更没人处理的情况。现在监控敏感度设定的比较低，待优化后，可以逐渐提高监控敏感度。
  2. 对系统有一个整体上的数据上的认知，而不是之前感官上的认知，因此有了——数据报告这个模块。
 
 
框架结构
 
模块介绍：
       数据采集：从各种数据源，批量采集监控数据。目前支持mysql、es
       数据特征学习：
数据建模：将每天已30分钟为一段，分成48端。基于每一段进行数据特征学习，产生一个知识点。每个知识点包括：样本数据的集中趋势、离散趋势数据。
举例：下面是11/12日到27日  某接口在各时段平均10分钟的访问量，如果我们针对这一个指标只设定一个静态阈值，那显然是无法体现出来这种数据随着时段变化而变化的特征的。
      
       监控决策与告警通知：
              那最新的采集的数据与知识点做离散度对比，根据以下信息，决定是否发出告警，以及告警登记：
  1. 知识样本数据的离散程度
  2. 新数据相对于知识样本数据的离散程度
  3. 监控任务设定的敏感度
  4. 知识点无效、超级稳定等极端情况。
              附件是告警通知示例
 
       维护模块：
              新发现的到数据，什么时候开始知识学习？怎么补全历史数据进行知识学习？
              识别无效的历史监控数据？怎么清理出去？
 
       告警响应模块：（暂未实现）
              当前告警是否存在已设定的响应处理程序，存在，则激发响应程序。
              举例：假设我们已经识别出来坏人假冒客服的特征，告警响应模块收到该告警后，去执行添加封停动作。
 
       数据报表：
              通过全覆盖的监控，让我们对系统有一个整体上的数据上的认知，而不是之前感官上的认知。
              例如：“接口数据波动报告” 对最近各模块接口从访问量、错误量、超时量做汇总报告。
                            通过每周的对比，可以看到系统稳定性趋势。
                            思考一下，它为什么会存在大幅波动？是否可以优化？
                            如果信息量太大，可以先从接口超时入手。
             
              业务方面每周出关键业务指标长期（3月）趋势图，以免视野缩小，在短期走势（2周）内感觉不到长期趋势的变化。

基于机器学习的波动监控系统相关推荐

  1. 【基于机器学习的垃圾分类监控系统】

    基于机器学习的垃圾分类监控系统 一.摘要 abstract 正确处理厨余垃圾,可以有效地保护环境,并带来不错的经济效益.本文将机器学习运用到厨余垃圾的分类监控中,以识别混入其中的非厨余垃圾.本文在人工 ...

  2. 基于机器学习的车牌识别系统

    基于机器学习的车牌识别系统 本文设计的车牌处理系统主要用于通过手机.路口监视器拍到的车牌照片进行识别.由图像处理.车牌定位.字符分割和字符识别四个模块组成,该四部分需要依次执行,其中的每一模块需要利用 ...

  3. 基于机器学习的车牌识别系统（Python实现基于SVM支持向量机的车牌分类）

    基于机器学习的车牌识别系统(Python实现基于SVM支持向量机的车牌分类) 一.数据集说明 训练样本来自于github上的EasyPR的c++版本,包含一万三千多张数字及大写字母的图片以及三千多张中 ...

  4. Linux下基于qt的视频监控系统

    目录 一.原始需求 二.环境安装 2.1 qt安装 2.2 opencv安装 三.系统设计 3.1. 整体流程设计 3.2 .数据传输交互流程 3.3 .数据库设计 四.关键代码 4.1.如何实现通信 ...

  5. 基于微博的舆情监控系统 JAVA SSM MySQL

    10040_基于微博的舆情监控系统 技术 Spring + SpringMVC + MyBatis 工具 eclipse + tomact + mysql + jdk

  6. 基于IOCP的局域网监控系统

    作者:赖春红1 戚淮兵1 谭涛2 1.西华师范大学物理与电子信息学院   南充 637002 2.西华师范大学计算机学院               南充 637002 基于IOCP的局域网监控系统 ...

  7. 基于智能矿山电力监控系统的设计与应用方法

    摘要:随着煤矿建设的智能化程度越来越高,构建智能电力监控系统实现对矿山生产的有效监控至关重要.首先分析了矿山电力监控系统存在的主要问题,其次重点介绍了基于智能矿山电力监控系统的设计过程,后提出了加强智 ...

  8. （毕业设计资料）基于单片机智能输液器监控系统的设计

    026[毕设课设]基于单片机智能输液器监控系统的设计. 说明:基于单片机智能输液器监控系统的设计,目标滴速和设定滴速的调节通过使用PID算法,换页按钮可调节PID参数, 增加和减少分别在修改按钮按后进 ...

  9. 南瑞rt21系统服务器,南瑞“一种基于CORBA的综合监控系统数据定义和存取方法”等三项科技成果获专利授权...

    南瑞"一种基于CORBA的综合监控系统数据定义和存取方法"等三项科技成果获专利授权 北极星电力信息化网  来源:国网电科院    2012/5/22 9:24:13  我要投稿 北 ...

最新文章

  1. C++学习网站。两个 CodeProject，Codeguru
  2. php 检测密码,php如何检测账号密码是否匹配
  3. python123第三章作业答案_swift playground类似的游戏
  4. lombok 简化代码_如何编写更少，更好的代码，或Project Lombok
  5. linux部署redis集群遇到的问题
  6. 数据：DOGE近24小时交易额约为107.91亿美元
  7. python质量转换程序,Python库的文件转换成MP3和设置它们的质量
  8. [渝粤教育] 广东-国家-开放大学 21秋期末考试大数据营销10138k2
  9. Python3 递归算法
  10. Eclipse环境变量配置
  11. 《数理统计学教程》序言（陈希孺）
  12. SAP 查询分析器的实现的3种方法
  13. 计算机怎么在表格里打勾,怎样在Excel输入对号√,Excel单元格怎么输入对号(方框内打勾)?...
  14. android手机传感器,安卓手机传感器
  15. Android 去掉Power键屏保功能，但保留长按关机功能。
  16. python normalize函数_Python Wand normalize()用法及代码示例
  17. MEAN与LAMP：如何选择正确的技术堆栈
  18. EMV规范（九）——持卡人验证(CVM)三
  19. opencv findContours()轮廓特征分析大全(求面积、周长、几何矩、质心、凸包、最小外接矩形、最小外接三角形、最小外接椭圆等)
  20. 计算机游戏动漫制作自我鉴定,动画制作专业自我鉴定范文

热门文章

  1. 【Python入门教程】第73篇 写入CSV文件
  2. 番外篇：gitlab docker版数据和仓库迁移
  3. 纪念我的第一个WP7软件
  4. 安卓界面上一些简单QQ 一键加群，微信号 手机号跳转，可用在app关于我们的界面中
  5. 一张图学会Python3
  6. 关于在虚拟机里面共享文件无法成功导入的解决案例
  7. 把时间选择器的时间转换成时间戳
  8. 酷信即时通讯开放平台和支付系统简述
  9. 2020,会成为区块链在中国的元年吗？
  10. 三菱FX2N系列PLC如何进行远程上下载和调试