网络异常流量分析系统设计
为什么要监测分析异常流量？
网络管理人员都希望在网络性能突然下降的时候找到“真凶”所在，并迅速解决问题。利用网络异常流量监测的方法，可以非常直观地看到网络流量是否有突然增长或者突然下降的现象，并进一步分析是那些用户产生了最多的流量、使用了那些应用以至于网络运转出现性能问题。并根据最终分析的结果，网络管理人员可快速解决掉网络异常问题，保证网络的正常运行。
现有的网络异常流量监测方案
基于网络流量分类
基于端口、基于DPI、基于统计、基于行为基于统计
给出数据服从某种概率分布，通过不一致性发现异常数据
方法：混合模型、信号处理、PCA基于聚类
基本思想：对正常数据进行聚类，与正常据类结果差别较大判为异常；正常数据离聚类的形心更近，可以用距离来度量；小的聚类和稀疏的聚类被视为异常
方法：K-Means基于信息论
基于动态基线（统计）
基线的定义
将一天分成多个时段并将每天相同时段的正常流量计算其平均值。这些连续不同时段的流量平均值便形成了流量基线。
基线的重要性
基线反映了网络正常行为下所呈现的流量变化趋势，是一项重要的流量指标。如果网络中有异常流量发生，将直接反映于流量变化上。
动态基线分析监测程序
决定基线分析的对象与单元
网络进出流量所占带宽比率计算对象的基线值
b = a*y + (1-a)*b1制定动态分级告警规则
建立描述待检测流量和基线偏离程度的方程式：
说明流量异常的信息（受感染网络的异常流量的大小强度、持续时间以及部分异常流量细节）
首先计算流量偏离值；
根据流量排序，选择贡献较多流量偏差的主机；
累计偏离值，找出异常主机。
网络异常流量分析系统模型
流量异常检测
系统模型如图所示：
流量数据传输到预测器，输出流量预测值到检测器，检测器根据预测值以及数据分析后输出检测结果，如果有异常则发出警告。
预测器设计
预测方法：用线性回归方法预测流量值
预测模型首先对正常流量趋势进行拟合，当异常流量出现时能较好地做出反应，避免了样本不平衡与漏报的情况。但是由于流量波动的存在，导致某些正常的波动被识别为异常情况，阈值选取过大，可能会出现报警延迟或漏报；阈值选取过小，则可能会出现误报的情况。因此误报情况较多，该模型在初期实现了70%的准确率。
改进：被判定为异常值的值与正常值的最大值差距不大时，可能只是正常抖动，并非异常值，为了进一步解决误报情况，需要对误差值进行处理，采用了误差排序的方式，通过对误差进行降序排序E，对比误差序列间的差值情况D
检测器设计
残差 相对误差
使用基于残差的检测方法，需要我们针对不同的系统流量设置不同的阈值。
大部分系统白天流量大，相对波动小，下跌10%可能意味着比较严重的问题，而深夜流量小，相对波动较大，下跌30%才可能意味着存在系统故障。所以基于相对残差的检测方法也不能够设置统一的阈值来检测异常。
参考文献：
[1]郭炜. 基于动态基线的业务运营支撑网异常流量检测研究[C]//.2011年通信与信息技术新进展——第八届中国通信学会学术年会论文集.,2011:451-454.
[2]流量异常监测
网络异常流量分析系统设计相关推荐
- 使用NetFlow分析网络异常流量
一.前言 近年来,随着互联网在全球的迅速发展和各种互联网应用的快速普及,互联网已成为人们日常工作生活中不可或缺的信息承载工具.然而,伴随着互联网的正常应用流量,网络上形形色色的异常流量也随之而来,影响 ...
- 使用NetFlow分析网络异常流量(6)
五.常见蠕虫病毒的NetFlow分析案例 利用上诉方法可以分析目前互联网中存在的大多数异常流量,特别是对于近年来在互联网中造成较大影响的多数蠕虫病毒,其分析效果非常明显,以下为几种蠕虫病毒的NetFl ...
- 使用NetFlow分析互联网网络异常流量
PS:论坛里一位网友提出的问题,自己也不会,在网上找了点资料,还是感觉这篇文章比较详细.. [摘要]本文从互联网运营商的视角,利用NetFlow分析手段,对互联网异常流量的特征进行了深入分析,进而提出 ...
- 网络异常流量数据集CIC-IDS-2017/2018 流量特征提取工具CICFlowMeter的使用
网络异常流量数据集CIC-IDS-2017/2018 && 流量特征提取工具CICFlowMeter的使用 1. 数据集CIC-IDS-2017/2018 2. 流量特征提取工具CIC ...
- 基于机器学习的网络异常流量识别系统——数据篇
数据集 获取数据集的两个方案(网络异常流量) 一.自己配置虚拟机爬取数据(有条件的可以直接搞服务器上的数据) 缺点:很耗时而且爬的还没有什么普适性,电脑不行直接挂,我就是(￣▽￣)" 自己用 ...
- 怎样使用NetFlow分析网络异常流量一
一.前言 近年来,随着 互联网在全球的迅速发展和各种 互联网应用的快速普及,互联网已成为人们日常工作生活中不可或缺的信息承载工具.然而,伴随着互联网的正常应用流量,网络上形形色色的异常流量也随之而来, ...
- 基于PHP的网络数据包分析系统设计与实现
目 录 1 引言 1 1.1 课题背景 1 1.2 国内外研究现状 1 1.3 本课题研究的意义 1 1.4 本课题的理论基础 1 2 网络数据包分析系统概述 2 2.1 网络数据包分析的意义 2 2 ...
- 常见的Socket网络异常场景分析
原创:打码日记(微信公众号ID:codelogs),欢迎分享,转载请保留出处. 简介 在目前微服务的背景下,网络异常越来越常见了,而有一些网络异常非常模糊,理解什么情况下会导致什么异常,还是有一定难度 ...
- 实用教程：使用Netflow分析网络异常流量
2019独角兽企业重金招聘Python工程师标准>>> 阅读全文点击 http://netsecurity.51cto.com/art/201608/515423.htm 转载于:h ...
最新文章
- Go 分布式学习利器（11）-- Go语言通过单链表 实现队列
- 刻意练习：LeetCode实战 -- Task02. 删除排序数组中的重复项
- 任正非公开信深度解读：两年怎样改变了华为？
- 静态路由中的下一跳地址和送出接口的区别和使用
- python修改第三方库重写_Python安装第三方库，切换镜像源
- knockout checkbox 全选
- Acwing 1082. 数字游戏
- Java中的贷款模式（又名贷方承租人模式）
- mysql使用文件排序_Mysql排序FileSort的问题
- [渝粤教育] 西南科技大学 单片机原理与应用 在线考试复习资料
- Eclipse中输入点号(.)不提示类成员（函数、字段）的解决办法
- 史上最牛最全android开发知识汇总
- STM32F205通过SDIO和SPI读写SD卡文件
- C# sqlsugar依赖引用报错的问题解决
- Java基础之线程原子量
- IE浏览器调用jquery需要注意的小问题
- 必备技能~程序员如何快速制作不同颜色不同大小的icon？
- 【云原生 | Kubernetes 实战】01、K8s-v1.25集群搭建和部署基于网页的 K8s 用户界面 Dashboard
- Beyond乐队20年 细数唱片12个“最”
- 页面版权声明©xx公司写法