转自：https://blog.csdn.net/gaotihong/article/details/82982766

SE-attention

一、SE-NET

图1.SE-block
图1.中的Ftr是传统的卷积结构，X和U是Ftr的输入（C’xH’xW’）和输出（CxHxW），这些都是以往结构中已存在的。SENet增加的部分是U后的结构：对U先做一个Global Average Pooling（图中的Fsq(.)，作者称为Squeeze过程），输出的1x1xC数据再经过两级全连接（图中的Fex(.)，作者称为Excitation过程），最后用sigmoid（论文中的self-gating mechanism）限制到[0，1]的范围，把这个值作为scale乘到U的C个通道上，作为下一级的输入数据。这种结构的原理是想通过控制scale的大小，把重要的特征增强，不重要的特征减弱，从而让提取的特征指向性更强。下面来看下SENet的一些细节：
（1）squeeze ：GAP有很多算法，作者用了最简单的求平均的方法（公式1），将空间上所有点的信息都平均成了一个值。

（2）Excitation部分是用2个全连接来实现，第一个全连接把C个通道压缩成了C/r个通道来降低计算量（后面跟了RELU），第二个全连接再恢复回C个通道（后面跟了Sigmoid），r是指压缩的比例。作者尝试了r在各种取值下的性能，最后得出结论r=16时整体性能和计算量最平衡。

全连接层是为了利用通道间的相关性来训练出真正的scale。一次mini-batch个样本的squeeze输出并不代表通道真实要调整的scale值，真实的scale要基于全部数据集来训练得出，而不是基于单个batch，所以后面要加个全连接层来进行训练。

二、三种错误的SE结构

图2最上方的结构，squeeze的输出直接scale到输入上，没有了全连接层，某个通道的调整值完全基于单个通道GAP的结果，事实上只有GAP的分支是完全没有反向计算、没有训练的过程的，就无法基于全部数据集来训练得出通道增强、减弱的规律。

图2中间是经典的卷积结构，有人会说卷积训练出的权值就含有了scale的成分在里面，也利用了通道间的相关性，为啥还要多个SE Block？那是因为这种卷积有空间的成分在里面，为了排除空间上的干扰就得先用GAP压缩成一个点后再作卷积，压缩后因为没有了Height、Width的成分，这种卷积就是全连接了。

图2最下面的结构，SE模块和传统的卷积间采用并联而不是串联的方式，这时SE利用的是Ftr输入X的相关性来计算scale，X和U的相关性是不同的，把根据X的相关性计算出的scale应用到U上明显不合适。

三、SE-Inception和SE-ResNet结构

图3：SE-Inception和SE-ResNet结构

图3是两个SENet实际应用的例子，左侧是SE-Inception的结构，即Inception模块和SENet组和在一起；右侧是SE-ResNet，ResNet和SENet的组合，这种结构scale放到了直连相加之前。

四、总结

SENet把重要通道的特征强化，非重要通道的特征弱化，得到了很好的效果，这是一种全新的思路，在这个方向上将来可能会有更多的成果

SE-attention相关推荐

魔改Attention大集合
↑ 点击蓝字关注视学算法来源丨NewBeeNLP 编辑|极市平台极市导读如何对attention进行高效改进?本文盘点了相关论文,并梳理出它们的引用量.代码实现.算法复杂度和关键点,方便对比使 ...
注意力机制——Coordinate Attention
目录摘要 1 介绍 2 相关工作 2.1 Mobile Network 2.2 注意力机制 3 Coordinate Attention 3.1 Revisit SE Block 3.1.1 Squ ...
2021CVPR-Coordinate Attention for Efficient Mobile Network Design 坐标注意力机制
前言了解了SE和CBAM之后,Coordinate Attention(坐标注意)指出了前两者的一些缺点,并做出了一些改进,该篇论文发表于2021年CVPR Abstract 最近关于mobile ...
号称超过yolox和yolov5的PP-YoLoE
PP-YoLoE | PP-YoLov2全面升级Anchor-Free,速度精度完美超越YoLoX和YoLov5 PP-YOLOE是基于PP-YOLOv2的卓越的单阶段Anchor-free模型,超越 ...
CAMoE——屠榜 video retrieval challenge
关注公众号,发现CV技术之美作者:炎思提原文:https://zhuanlan.zhihu.com/p/425226244 本文转自知乎,已获作者授权,请勿二次转载. ✎ 编者言来自今年九 ...
PySlowFast 平台的使用及解析——以X3D为例
1.概述 PySlowFast 是Facebook近期开源的一个视频理解项目,其中包含了数个优秀论文的实现,包括SlowFast.X3D.I3D等.项目的地址在这里,本人最近正在做用该项目作视频行为识 ...
【FeatherNets】《FeatherNets：Convolutional Neural Networks as Light as Feather for Face Anti-spoofing》
CVPR-2019 workshop code:https://github.com/SoftwareGift/FeatherNets_Face-Anti-spoofing-Attack-Detect ...
【CASIA-SURF】《A Dataset and Benchmark for Large-scale Multi-modal Face Anti-spoofing》
CVPR-2019 ChaLearn Face Anti-spoofing Attack Detection Challenge@CVPR2019 比赛中采用了该数据集结束比赛时的前三名如下: 1s ...
CoordAttention解读
简介在轻量级网络上的研究表明,通道注意力会给模型带来比较显著的性能提升,但是通道注意力通常会忽略对生成空间选择性注意力图非常重要的位置信息.因此,新加坡国立大学的Qibin Hou等人提出了一种为轻 ...
百度网盘AI大赛-通用场景手写文字擦除亚军方案
★★★ 本文源自AlStudio社区精品项目,[点击此处]查看更多精品内容 >>> 通用手写文字擦除A榜2,B榜第3方案一.赛题背景随着技术发展,OCR扫描在学习.办公等众多场景 ...

SE-attention

SE-attention

一、SE-NET

二、三种错误的SE结构

三、SE-Inception和SE-ResNet结构

四、总结

SE-attention相关推荐

最新文章

热门文章