感受野

感受野：原指听觉、视觉等神经系统中一些神经元的特性，即神经元只接受其所支配的刺激区域内的信号。在视觉神经系统中，视觉皮层中神经细胞的输出依赖于视网膜上的光感受器。当光感受器受刺激兴奋时，会将神经冲动信号传导至视觉皮层。不过需指出并不是所有神经皮层中的神经元都会接受这些信号。正是由于感受野等功能结构在猫的视觉中枢中的发现，催生了福岛邦彦提出多卷积和子采样操作的多层神经网络。

卷积核：3x3 vs 7x7

而现代卷积神经网络中的感受野又是怎样一回事?我们慢慢道来。先以单层卷积操作为例，如图是一个7×7，步长为1的卷积操作，对后层的每一个输出神经元(如紫色区域)来说，它的前层感受野即为黄色区域，可以发现，这与神经系统的感受野定义大同小异。不过，由于现代卷积神经网络拥有多层甚至超多层卷积操作，随着网络深度的加深，后层神经元在第一层输入层的感受野会随之增大。如图所示为3 × 3，步长为1的卷积操作，同单层卷积操作一样，相邻两层中后层神经元在前层的感受野仅为 3 × 3，但随着卷积操作的叠加，第 L+3 层的神经元在第 L 层的感受野可扩增至7 × 7。

也就是说，小卷积核(如3×3)通过多层叠加可取得与大卷积核(如 7×7) 同等规模的感受野，此外采用小卷积核同时可带来其余两个优势:

第一，由于小卷积核需多层叠加，加深了网络深度进而增强了网络容量和复杂度;
第二，增强网络容量的同时减少了参数个数；
若假设上述示例中卷积核对应的输入输出特征张量的深度均为 C，则 7×7 卷积核对应参数有 C×(7×7×C) = 49C^2 个。而三层3×3卷积核堆叠只需三倍单层3×3卷积核个数的参数，即 3×[C × (3 × 3 × C)] = 27C^2，远小于 7×7卷积核的参数个数。

附录：

网络容量：神经网络的假设空间；
假设空间：指一个机器学习算法可以生成的所有函数的集合。这个函数集合就代表了一个机器学习算法的拟合能力。

摘自：

魏秀参：解析卷积神经网络

卷积核3x3 vs 7x7相关推荐

3x3,5x5,7x7卷积核识别效率对比
一个卷积核可以更快的提升准确率很显然表明这个卷积核把握图片特征的能力更强. 本文比较了3x3,5x5,7x7卷积核识别9x9的图片的识别效率和性能. 本文的数据集用了minst的0和2中的前500张 ...
3x3,5x5,7x7,9x9卷积核性能比较
在用7*7的卷积核分类9*9的图片到底应该用几个卷积核?中得到了一个经验结论:卷积核越大,网络的性能上升区间越大:上升区间越大,性能峰值越大.要按此分类9*9的图片,9*9的卷积核就是极限性能最优的卷 ...
MixConv: Mixed Depthwise Convolutional Kernels
MixConv: Mixed Depthwise Convolutional Kernels 原文链接:https://arxiv.org/pdf/1907.09595 文章目录 MixConv: M ...
带卷积核的神经网络的迭代次数与收敛标准的关系
制作一个带有卷积核的神经网络让这个网络向1,0收敛,y[0]向1收敛,y[1]向0收敛.收敛标准用δ表示,当满足条件 while(Math.abs(y[0]-1)> δ || Math.abs ...
【知识星球】卷积核和感受野可动态分配的分组卷积
欢迎大家来到<知识星球>专栏,这里是网络结构1000变小专题,我们要慢慢开始更新AutoML与网络设计相关的内容. 作者&编辑 | 言有三 1 MixNet 有三AI知识星球-网络 ...
深入浅出卷积神经网络及实现！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:陈桦.夏雨柔.樊亮,Datawhale优秀学习者卷积神经网络CN ...
CNN原理与实践指南
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达卷积神经网络CNN是深度学习中的基础知识.本文对CNN的基础原理及 ...
CNN 常用网络结构解析 1x1 卷积运算示意图
AlexNet 网络结构: VGG : conv3x3.conv5x5.conv7x7.conv9x9和conv11x11,在224x224x3的RGB图上(设置pad=1,stride=4,outp ...
MixNet了解一下，来自Google Brain最新SOTA移动AI架构
2020-01-04 20:10:04 作者:Less Wright 编译:ronghuaiyang 导读 MixNet-L 比 ResNet-153 的参数少 8 倍,而 MixNet-M 的性能与 ...

卷积核3x3 vs 7x7

感受野

卷积核：3x3 vs 7x7

附录：

摘自：

卷积核3x3 vs 7x7相关推荐

最新文章

热门文章