多尺度特征融合的知识蒸馏异常检测方法

期刊：计算机辅助设计与图形学学报

学校：南京信息工程大学计算机学院

时间：2022

关键词：异常检测;知识蒸馏;一分类问题;特征融合

背景

异常检测一般是指判断并识别与正常样本差异较大的异常样本。

异常数据的不确定性和多样性,使得采样不到所有异常样本类型,这也是异常检测任务的难点所在.因此,异常检测被归纳为一分类问题,即与正常样本差异较大的样本均指定为异常样本,不需要对异常类别进行详细划分,属于无监督学习范围。

传统方法存在问题

图像级：

构造图像特征空间针对图像异常检测,文献[4] 根据一分类方法构造了图像特征空间,以逼近二元分类问题的决策边界,使正常样本能够在特征空间形成聚类,而异常样本在特征空间远离聚类的正常样本.该方法对图像级异常检测可取得良好效果,

缺点：无法定位图像中异常区域的具体位置.

像素级：

图像重构基于图像重构[5]的方法是像素级异常检测的最初思路,即将输入的图像与模型重构后的图像进行逐像素对比,实现异常区域的定位.此方法虽然直观且易于理解,但深度神经网络通常具有较强的泛化能力,致使异常区域特征被重构,

缺点：使得输入和输出图像接近一致,无法通过对比得出它们的不同,降低了像素级异常检测的精度

特征相似度基于特征相似度的方法[6]是将图像特征映射到新空间,以实现相似度的比较.虽然基于特征相似度的方法能够实现较好异常区域的定位效果,

缺点：但其计算量大,无法在实际应用中被推广

知识蒸馏

8该方法通过知识蒸馏中的学生-教师网络,以更有效的方式利用预训练模型,将学生网络和教师网络的输出差异作为异常样本的判断标准,取得了较好的检测效果缺点：该网络仅使用了其最高层的特征信息,未能充分挖掘网络中泛化性更强的中间层语义特征[10]

本文

1.首先,教师网络通过多个中间层将自身的特征表征能力传授给学生网络,以此增强学生网络的泛化性

2.其次,为增大学生网络和教师网络对异常样本的输出差异,提出特征重构模块对学生网络所学习的特征进行重构.

3.最后,采用基于中间层特征采样的金字塔结构,实现多尺度特征融合,以增强其对不同大小异常区域检测的自适应性.

异常检测的三个流派

基于重构的异常检测方法

方法模型只学习过正常样本,故在重构过程中,正常样本能被较好地表示出来.而模型遇到没有学习过的异常样本,则很难被表示,自然重构效果较差.因此,重构效果较差的区域有可能为异常区域.该类方法一般使用自动编码器、变分自编码器和生成对抗性网络模型对正常图像进行重构训练,而异常图像则未被很好地重构.虽然基于重构的异常检测方法具有较强的直观性和可解释性优点
缺点：

但由于神经网络较强的泛化能力,多样化的样本输入使得某些异常区域也能够被较好地表示[14],这导致最终的异常检测效果较差.虽然Gong等[15]设计的记忆模块只存储所有正常样本中相似度最大的特征,剔除了关联度低的无用特征,起到抑制卷积网络泛化能力对异常区域重构的作用,但最终检测效果并不理想

基于特征相似度的异常检测方法

方法

采用基于图像块的输入方式实现异常区域定位.从异常检测的结果来看,基于特征相似度的方法效果较好,

缺点

但缺乏可解释性,并且其为逐像素提取特征,严重增大了计算量.

降低计算复杂度的改进方法

Yi等[16]在此基础上提出图像块级支持向量数据描述(patch-levelsupportvectordatadescription,SVDD)方法,其基于图像块[17]把块特征映射到新空间,再划分出超平面,实现异常与非异常点分割.类似地,Liznerski等[18]提出的全卷积数据描述(fullyconvolutionaldatadescription,FCDD),使用卷积网络中的偏置项取代SVDD网络的聚类中心,将提取到的特征图上采样来定位异常区域.

缺点：虽然此类方法降低了计算复杂度,但其依然依赖于训练数据本身.

基于预训练模型的异常检测方法

方法

Napoletano等[19]将预训练网络作为特征提取器,构建正常样本特征字典,并通过该字典对比出异常样本.Cohen等[20]用预训练模型提取正常样本特征,通过K近邻算法实现逐像素特征对比,完成异常检测

Bergmann等[8]提出基于知识蒸馏的异常检测方法,即学生-教师异常检测模型.其将学生网络和教师网络的输出差异作为异常样本的判断标准,并取得了较好的检测效果

缺点：

然而,该方法中的学生教师网络仅使用了网络最高层的特征信息,未能充分挖掘网络中泛化性更强的中间层语义特征,而且受限于图像块大小,难以适应不同大小异常区域检测的需要.

本文方法

本文采用3个连续的中间层对学生网络进行知识传递,既保证学生网络对教师网络特征表征的学习能力,又可以组合不同深度的特征图,以形成特征金字塔来检测不同大小的异常区域在训练阶段,将所有正常样本输入到学生网络和教师网络中.其中,教师网络加载预训练权重,并在训练阶段权重参数保持固定;而学生网络学习教师网络对正常样本的特征表征,以保证学生网络和教师网络对正常样本特征的表征一致性.在测试阶段,当输入为测试样本时,由于教师网络具有较好的泛化能力[22],因此其无论对正常样本还是对异常样本均具有较强的表征能力.而学生网络只从教师网络学习到正常样本的特征表征,因此,面对异常样本时,学生网络和教师网络所输出的特征表征会出现较大差异,而根据这种特征表征差异,可推断出当前样本是否为异常样本.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7k63XqTx-1666628081164)(file://C:\Users\Asus\AppData\Roaming\Typora\typora-user-images\image-20221024153933586.png?lastModify=1666617579)]

在低层高分辨率特征图中对异常区域的细节信息有较好的捕捉,在高层低分辨率特征图中则对异常区域的判别准确率较高,但异常区域的定位精度较低.因此,本文通过不同层次的特征组合形成金字塔结构进行多尺度特征融合,从而提升对不同大小异常区域的检测效果.

特征重构模块

本文设计了特征重构模块：为进一步扩大学生网络和教师网络对异常样本的表征差异。

该模块包含特征融合和空间注意力机制2部分,在图2中,上方为特征重构模块的整体示意图,下方为特征重构模块中的空间注意力机制(spatialattentionmechanism,SAM)结构示意图.通过多层级特征融合和SAM空间注意力权重2次计算,实现了与原有卷积层输出不同的特征图12,ssFF和3sF.据此,本文将这2部分合在一起定义为特征重构模块.

3个特征图F_s1,F_s2,F_s3由上述两者融合而成,具有将不同层次特征差异累加作用,放大了学生网络和教师网络的特征差异.同时,本文中的相邻特征图两两融合,既保持了不同分辨率特征图对不同大小异常检测的适应性,又使得3个特征图F_s1,F_s2和F_s2具有相对独立性.

高层特征有益于分类任务,低层特征则更有益于定位任务;多层跨尺度特征信息融合时会产生混淆效应[23],降低定位检测效果.

因此,本文重构特征时将学生网络相邻卷积层输出特征两两融合,低层F_s1仅含有S_conv3_x层输出特征信息,不含有S_conv4_x最高层输出特征信息,以减少跨尺度特征融合时的混淆效应影响.

如果特征按照从F_s3融合S_conv3_x层输x出特征得到F_s2,那么此时F_s2已经含有最高层S_conv4_x特征信息;接着F_s2融合S_conv2_x层输出特征得到F_s1,则此时F_s1不仅含有S_conv3_x层输出特征信息,也含有S_conv4_x层输出特征信息.若按这种顺序融合特征,则会减少低层特征在融合特征中的信息比重,降低图像轮廓细节定位的效果.

空间注意力机制(spatialattentionmechanism,SAM)

输入的特征图先经过自适应池化获得不同尺度的上下文特征,再经过双线性差值上采样,依次经过3×3卷积、ReLU激活层、1×1卷积和Sigmoid激活层,为每个特征图生成相应的空间注意力权重图,最后将输入的特征图与其作乘积,从而获得新的更具有上下文信息的特征图.

损失函数及异常图计算

L t o t a l L_{total} Ltotal表示训练过程中知识蒸馏学生-教师网络总损失.

每个loss_n损失均包括 L v a l L_{val} LvalL2范数损失和 L d i r L_{dir} Ldir方向损失

总结

本文的STN是要增强其对异常样本表征的输出差异.为此,本文提出多尺度特征融合的知识蒸馏异常检测方法.该方法为学生网络单独设计特征重构模块,打破原有教师网络和学生网络的相似结构,在保证学生网络对正常样本充分学习的基础上,扩大学生网络和教师网络对异常样本的表征差异.为进一步凸显异常区域特征,抑制非异常区域特征,本文方法融合SAM,通过空间注意力权重计算,增大异常与非异常区域的区分度,并在多个分辨率特征图上进行了融合,

缺点

未对教师网络传授的知识进行过滤,难以保证教师网络传授学生网络知识的准确性.