CNN中的感受野和有效感受野会对模型产生怎样的影响？
2019-10-06 20:01:44
作者：Noam ( 八云 ) R.
编译：ronghuaiyang
导读
在卷积神经网络中，感受野是一个非常重要的概念，今天，我们具体来看一下感受野的相关概念以及如何计算感受野。
感受野
让我们快速回顾一下如何计算感受野的大小。
为了更好地理解感受野，我们可能希望以不同的方式可视化卷积步骤。
在右边，我们查看输出神经元，也就是新的feature map，而不改变当前feature map的分辨率。我们也可以用下面的方法计算每一层新的感受野。
在现实生活中，我们打算用一个程序来实现这一点。
注：据我所知，双线性上采样和大多数其他上采样方法不会增加感受野。但是，如果我的逻辑是对的，转置卷积应该会增加感受野。很容易想象，放置在一个转置卷积之后的平均神经元通过多个途径接收输入。
有效感受野
在这篇论文中：Understanding the Effective Receptive Field in Deep Convolutional Neural Networks，作者尝试从输出映射的中心像素向网络反向传播一个梯度，并将所有其他梯度设置为零。然后，我们检查应用于输入层的梯度。
实验表明，梯度的性质是高斯的，中心像素受影响较大，离中心越远梯度信号越弱。梯度信号的衰减是指数级的，这意味着应用于感受野的大多数像素的梯度将是可忽略的(如果有的话)。因此，这使得作者创造了“有效感受野”这个术语，因为实际的感受野只占理论感受野的一小部分。这是有意义的，因为更多的中央神经元将有更多的路径来传播信息，从而将从最后一层的中心像素的梯度传播回所有可能的路径，导致了梯度有更大的幅度。
那么，还有什么影响有效感受野呢？
Relu—添加任何激活都会改变ERF的分布，因为梯度的大小现在也依赖于输入。实际上，只有Relu似乎创建了一个较少的高斯分布，因为Relu将导致我们的梯度的很大一部分为零。
添加层—正如所期望的那样，添加层使ERF成倍增长。然而，相对于我们的理论感受野，我们的ERF正在缩小。我们的有效感受野在理论感受野中所占的比例越来越小。注意，随着层数的增加，ERF / RF比值的收缩速度也会变小。此外，作者指出，stride卷积和dilated卷积都显示出可以扩展ERF，虽然他们没有提到相对于理论RF的影响。
训练—在训练过程中，ERF扩展到RF的更大部分，这是有意义的，因为网络学会适应把越来越大的权重放在我们感受野的更多外部像素上。在CamVid中，ERF从100增加到150直径，而理论RF为505 x 505。
最后，让我们看一下fast-rcnn的RPN。
我们最大的anchor应该是64*8 = 512，使用一个程序我们可以很容易地找到我们的RF是1335，这是一半以上。从之前的实验中我可以推测出ERF大约是RF的1/3。好，在RPN中负责计算512×512锚点作为对象或前景的概率的单元格只有大约445×445个输入数据的窗口，小于锚框。对于负责调整我们的建议边界框的回归部分也可以进行类似的计算。在这一点上，令人惊讶的是，我们的RPN竟然这么好！
英文原文：https://www.linkedin.com/pulse/receptive-field-effective-rf-how-its-hurting-your-rosenberg
CNN中的感受野和有效感受野会对模型产生怎样的影响？相关推荐
- 如何理解CNN中的感受野（receptive-field）以及如何计算感受野？
本文转载自博客园用户@shine-lee的彻底搞懂感受野的含义与计算. 1. 感受野(Receptive-Field, RF)是什么? The receptive field is defined a ...
- CNN中的局部连接(Sparse Connectivity)和权值共享
局部连接与权值共享 下图是一个很经典的图示,左边是全连接,右边是局部连接. 对于一个1000 × 1000的输入图像而言,如果下一个隐藏层的神经元数目为10^6个,采用全连接则有1000 × 1000 ...
- 1个字，绝! -- CNN中十大令人拍案叫绝的操作
前言 近十年是深度学习飞速发展的十年,自LeNet.AlexNet发展至今,通道注意力.空间注意力.生成对抗网络等技术层出不穷,最近大火的Transformer技术也在屠杀各种深度学习比赛的榜单,经过 ...
- CNN中的卷积核及TensorFlow中卷积的各种实现
声明: 1. 我和每一个应该看这篇博文的人一样,都是初学者,都是小菜鸟,我发布博文只是希望加深学习印象并与大家讨论. 2. 我不确定的地方用了"应该"二字 首先,通俗说一下,CNN ...
- CNN中卷积的学习笔记
1 致谢 感谢赵老师的讲述~ 2 前言 今天在学习CNN~ 记得很久以前,小伙伴曾经问过我一个问题,为什么CNN网络要使用卷积运算作为神经元的输入, 那时候我还没怎么开始学深度学习,觉得这是一个很玄妙 ...
- CNN中的Inductive bias(归纳偏置)
归纳偏置其实就是一种先验知识,一种提前做好的假设. 在CNN中的归纳偏置一般包括两类:①locality(局部性)和②translation equivariance(平移等变性) ① locali ...
- 如何理解CNN中的权值共享
记录一下深度学习中CNN中的权值共享 首先,卷积网络的核心思想是将:局部感受野.权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合起来获得了某种程度的位移.尺度.形变不变性. 通俗理解,所 ...
- CNN中的即插即用小模块汇总
文章目录 前言 1 STN 2. ASPP 3. Non-local 4. SE 5. CBAM 6 DCN v1&v2 7 CoordConv 8 Ghost 9 BlurPool 10 R ...
- 深度学习基础学习-1x1卷积核的作用（CNN中）
前言 这里就不赘述卷积神经网络相关内容了,直接通过博主看的一些资料,自己进行了一些整合,大佬绕道. 对于1x1卷积核的作用主要可以归纳为以下几点 增加网络深度(增加非线性映射次数) 升维/降维 跨通道 ...
最新文章
- 一个比较保守的404页面
- PostgreSQL9.6+新增空闲事务自动查杀功能
- BZOJ.3218.a + b Problem(最小割ISAP 可持久化线段树优化建图)
- 实体类（VO，DO，DTO）的划分
- tomcat各目录（文件）作用
- 深入理解计算机系统：计算机系统概述
- sql 中优化视图或sql语句的执行效率的方法
- php的crypt,php使用crypt（）函数进行加密
- jquery排他思想
- 【数据库原理实验(openGauss)】交互式SQL语句
- 缠中说禅电子书_缠中说禅股技术理论(完整版).pdf
- 计算机怎么看事件管理,用事件查看器查看电脑使用记录
- puppet一键部署lnmt
- Hyperledger Besu环境搭建（Linux）
- 【CUDA 基础】3.4 避免分支分化
- 10年资深DBA老郭（门下已出多位DBA学生）老男孩MySQL DBA标杆班实战视频教程
- Linux搭建samba服务及使用案例
- word批量转换为html,批量Word转HTML – ConvertWordToHTML[Update: Word转换工具]
- 错误代码 invalid-signature 错误原因: 验签出错，建议检查签名字符串或签名私钥与应用公钥是否匹配
- 大龄青年自学Java，如何找到第一份工作?