基于流量异常分析多维优化的入侵检测方法

论文摘要

入侵检测系统在检测和预防各种网络异常行为的过程中, 海量和高维的流量数据使其面临着低准确率和高误报率的问题。本文提出一种基于流量异常分析多维优化的入侵检测方法, 该方法在入侵检测数据的横向维度和纵向维度两个维度进行优化。

在横向维度优化中, 对数量较多的类别进行数据抽样, 并采用遗传算法得到每个类别的最佳抽样比例参数, 完成数据的均衡化。
在纵向维度优化中, 结合特征与类别的相关分析, 采用递归特征添加算法选择特征, 并提出平均召回率指标评估特征选择效果, 实现训练集的低维高效性。
基于优化的入侵检测数据, 进一步通过训练数据集得到随机森林分类器, 在真实数据集UNSW_NB15 评估和验证本文提出的算法。

与其他算法相比, 本文算法具有高准确率和低误报率, 并在攻击类型上取得了有效的召回率。

论文解决的问题

提高了预测准确率：

提出了一种平衡数据集的方法：利用遗传算法
提出了一种特征选择的方法

1.基于遗传算法的数据抽样优化算法

遗传算法

遗传算法步骤：

生成随机种群（其实就是针对你想求的数值，先随机生成一些数值）
适应性计算（定义一个适应性算法，计算出该种群中每个个体的适应度）
选择操作（一般采用轮盘赌方法，就是把适应性高的个体选择出来）
交叉（类似于生物中的基因重组，就是随机找到选择出来的两个个体的染色体按某种算法进行基因重组生成下一代）
变异（对于生成出来的下一代，随机选择出一个他的特征值进行轻微变化）
重复（重复上述操作N次，直到最优的个体被选择出来，这就是你想求的数值）

本文中：

首先确定我们想求的是什么？

就是从每个类别中挑选样本的比例。本文中只针对一些样本数量比较多的类别进行计算比例的操作，因此有Normal、Fuzzers、Reconnaissance、Exploit、Dos、Generic六种。定义比例变量为r，因此要求的就是（r1，r2，r3，r4，r5，r6）这个六元组，他们的取值范围为[0,1]，0就是不取，1就是全取。

生成随机种群

随机生成很多个六元组（r1，r2，r3，r4，r5，r6）。
适应性计算

本文中采用以该六元组比例下，随机森林的准确率作为适应性算法
选择操作

使用轮盘赌方法，把所有的适应度放入转盘中，然后转动转盘，指针指向的就是选择出来的个体。
交叉

针对两个选择出来的个体的染色体进行基因重组，在本文中就是先随机选择染色体的两个位置，然后求两个个体对应位置的平均值，遗传给下一代。

上面这个例子就是：先选择了r2和r5这两个位置，然后X1和X2在r2位置上的值为0.2和0.5，求平均值为0.35；在r5位置上的值是0.6和0.23，求平均值为0.415，然后其他值不变，一起遗传给下一代。
变异

先选择子代的染色体的一个位置，该位置的值有50%的机会增加0.01或者减少0.01
重复上述操作N次，直到找到最优的六元组（r1，r2，r3，r4，r5，r6）

2.基于相关分析的特征选择优化算法

计算出各个特征 f i f_i fi（i=1,2,…m）和 L a b e l Label Label的相关性：

假设第i个特征为 f i f_i fi，共有m个特征；类别集合记为 L a b e l Label Label，第i个类别为 l i l_i li

计算方法：

符号特征与类别的相关性采用V系数评估：

数值特征与类别的相关性采用Eta系数评估：

对于V和Eta而言，小于0.3时，认为相关性很差；大于0.6时，相关性较强。
删除相关性小于0.3的特征，获得一个特征子集 F e a t u r e ′ Feature' Feature′
初始化一个空集合，用来存放选择的特征
逐步向其中添加特征：如果该特征能提高预测效果，则保留，否则抛弃。

对于上述方法有一个问题就是，在第4步，我需要计算 F e a t u r e ′ Feature' Feature′的各个特征子集，然后训练模型，然后判断预测效果是否更好，这样计算量太大了，文章中给出了一种方法，既保证了分类效果也保证了效率。

注意：文章中用随机森林作为模型。用Avg_Recall作为判断模型是否效果变好的依据。

文章中还给了一个例子便于理解：

其实意思就是：每次迭代时，对特征子集 F e a t u r e ′ Feature' Feature′中的每一个特征，都添加到现有的 F ′ F' F′中，然后比较添加哪个特征会使得新的 F ′ F' F′的Avg_Recall（注意这是个整体）最大，留下那个特征，然后把这个特征从 F e a t u r e ′ Feature' Feature′中删除，再继续迭代。最后找到一个状态，该状态下Avg_Recall最大那个状态。

要注意不是特征越多Avg_Recall就越大，有可能(1,1,0)的Avg_Recall比(1,1,1)的Avg_Recall要大，也有可能(0,1,0)的Avg_Recall比(1,1,1)的Avg_Recall要大，这些情况都有可能，找到最大的那个状态，此时这个状态选中的特征就是我们筛选后的特征。

3.模型

使用了随机森林。

总结

遗传算法
相关分析的特征选择
随机森林

研究型论文_基于流量异常分析多维优化的入侵检测方法相关推荐

研究型论文_基于双层异质集成学习器的入侵检测方法
文章目录基于双层异质集成学习器的入侵检测方法论文摘要论文解决的问题 1.模型体系结构 2.数据降维 3.交叉验证策略 4.分类评估算法 5.多分类器集成算法 6.总结参考文献基于双层异质集成 ...
论文笔记-基于代码属性图和Bi-GRU的软件脆弱性检测方法
一.摘要提出了一种基于代码属性图和Bi-GRU的软件脆弱性检测方法.该方法通过从函数的代码属性图中提取出抽象语法树序列.控制流图序列作为函数表征的表征方式,减少代码表征过程中的信息的损失,并通过选 ...
研究型论文_基于机器学习和深度学习的不平衡网络流量入侵检测（英文论文）
文章目录 Intrusion Detection of Imbalanced Network Traffic Based on Machine Learning and Deep Learning 论 ...
研究型论文_基于特征值分布和人工智能的网络入侵检测系统的研究与实现
文章目录基于特征值分布和人工智能的网络入侵检测系统的研究与实现论文摘要论文解决的问题 1.系统框架 2.数据集样例处理流程 3.DSM中定义的一些评分机制 4.训练过程模拟(重点来了) 总结基 ...
c语言编写订货系统,学位论文_基于c语言的仓库订货系统的仿真.doc
学位论文_基于c语言的仓库订货系统的仿真本科毕业论文(设计.创作) 题目: 基于C语言的仓库订货系统的仿真学生姓名: 学号: 所在系院: 信息与通信技术系专业: 电子信息工程入学时间: 201 ...
检测噪声大小的c语言程序,单片机课程设计(论文)_基于AT89C51的噪音检测自适应系统设计.doc...
单片机课程设计(论文)_基于AT89C51的噪音检测自适应系统设计摘要本文以AT89S52 单片机为控制核心,通过播音判断电路寻找广播间歇时段,实时采集噪声环境内的噪音信号,根据A/ D 转换 ...
卷积神经网络训练准确率突然下降_基于联邦学习和卷积神经网络的入侵检测方法...
王蓉1,马春光2,武朋2 1. 哈尔滨工程大学计算机科学与技术学院,哈尔滨 150001:2. 山东科技大学计算机科学与工程学院,青岛 266590 doi :10.3969/j.issn.1671- ...
TIA博途_基于SCL语言制作模拟量输入输出全局库的具体方法
TIA博途_基于SCL语言制作模拟量输入输出全局库的具体方法一. 模拟量输入块:创建FB,定义块的接口,如下图所示: 程序中包含了高报警,低报警,一般上位机报警需要这个变量. 极性选择,适合更广的应 ...
python登录系统账号检测_一种基于python的惠普打印机默认用户名密码检测方法与流程...
本发明涉及打印机检测技术领域,特别是一种基于python的惠普打印机默认用户名密码检测方法. 背景技术: 网络打印机是当前各大中小型企业正常办公比不可少的办公网络设备,但对于大中型企业而言,不同部门或 ...

研究型论文_基于流量异常分析多维优化的入侵检测方法

文章目录