【竞赛记录】kpi异常检测

搞了个华为的KPI异常检测竞赛，当然搞的时候就没觉得自己会拿奖（我指安慰奖），但没想到有这么悬殊。一方面是没搞过时间序列的东西，好多东西要重新开始学；另一方面是，谁知道我一搞竞赛，一向放羊的导师开始疯狂cue我，怕不是开了个天眼。

首先从数据本身开始吧
KPI就是运维用来判断Web服务是否稳定的时间序列。

KPI有周期性的也有非周期性的，非周期的貌似还分稳定的和不稳定的。

但这次竞赛我只分了周期和非周期两种，周期（好像）一般是7，因为人的工作+休息的周期也是一周七天嘛。

数据预处理
因为周期数据要做回归，所以需要先将数据进行填充和去除异常点的预处理。
填充这一步用的就是python自带的：interpolate()
去除异常点这里用的Lowess（局部加权回归）做了个类似smooth的措施。

制造特征
给的数据中基本上能用的只有kpi的value这个值而已，所以要自己造特征。一开始是我自己算的一堆统计学特征，后来听说有TsFresh这么个好东西，就拿来用了。

from tsfresh.feature_extraction import MinimalFCParameters, EfficientFCParameters
from tsfresh import extract_features

不过有个问题是，我不能debug到TsFresh的数据样子，每次就很自然地，像run一样地跑完了。。。ORZ
也不知道是我的操作问题还是平台问题。

模型训练
好的，终于到这里了。我一想到一开始都是我一个个编写，却在最后一天一个简单粗暴的vote就很委屈 =皿=
周期的kpi序列用的是：XGB
非周期的kpi从一开是高斯混合

from sklearn.mixture import GaussianMixture

到逻辑回归
（话说一开始没找到这个函数，还是我自己对着公式编的）

from sklearn.linear_model import LogisticRegression

SVM和随机森林也搞一搞

from sklearn import preprocessing, svm
from sklearn.ensemble import RandomForestClassifier

到投票把这些都搞进去。

from sklearn.ensemble import VotingClassifier,

异常点检验
这没什么好说的，用的3-sigma，就是用标准差弄个范围，超出范围的全是异常值。

结论
结论是那个准确率依旧很惨 ORZ
我觉得问题可能在这几个方面吧：
1，看了一下别的大佬做的，说是一开始除了我的数据预处理外，还要自己重新标注异常点，因为给的label未必是准的，然而我木有做。
2，制作特征方面可能还是太糙了，本来应该制作的特征有这~么多↓

反正作为第一次参加竞赛、一边应付导师的我尽力了（去找下一个竞赛啦~）

参考：KPI异常检测竞赛笔记

【竞赛记录】kpi异常检测相关推荐

揭开KPI异常检测顶级AI模型面纱
摘要:2020GDE全球开发者大赛-KPI异常检测告一段落,来自深圳福田莲花街道的"原子弹从入门到精通"有幸取得了总榜TOP1的成绩,在这里跟大家分享深圳福田莲花街道在本次比赛的解 ...
火遍网络的KPI异常检测到底什么梗？
文章目录网络KPI介绍异常检测步骤举例说明异常表现形式异常定义离群点与异常不同领域的异常异常检测的主要方法时间序列异常检测的难点异常检测常见方法 Z-score方法滑动平均法(M ...
基于机器学习的KPI异常检测（当初的讲课课件）
基于机器学习的KPI异常检测(当初的讲课课件)
《异常检测——从经典算法到深度学习》16 基于VAE和LOF的无监督KPI异常检测算法
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...
网络KPI异常检测之时序分解算法
[摘要] 如何去发现时间序列中的规律.找出其中的异常点呢?接下来,我们将揭开这些问题的面纱. 时间序列数据伴随着我们的生活和工作.从牙牙学语时的"1, 2, 3, 4, 5, --" ...
《异常检测——从经典算法到深度学习》20 HotSpot：多维特征 Additive KPI 的异常定位
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...
《异常检测——从经典算法到深度学习》8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...
基于时间序列的异常检测算法小结
简介搜罗了网上几乎所有的基于时间序列的异常检测方法,没有包括文献,整理记录一下. 综合引用以下文章: 数据挖掘导论时间序列异常检测机制的研究 KPI异常检测竞赛笔记异常检测之时间序列的异常检测 ...
《异常检测——从经典算法到深度学习》5 Opprentice——异常检测经典算法最终篇
<异常检测--从经典算法到深度学习> 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测 ...

【竞赛记录】kpi异常检测

【竞赛记录】kpi异常检测相关推荐

最新文章

热门文章