深度学习中的fan_in与fan

Understanding the difficulty of training deep feedforward neural network 中，fan_in指第i层神经元个数，fan_out指第i+1层神经元个数。通常卷积网络不是全连接的，fan_in与fan_out的计算方式有所不同。
pytorch中:
fanin=channelsin×kernerwidth×kernerheightfan_{in}=channels_{in}\times kerner_{width} \times kerner_{height} fanin=channelsin×kernerwidth×kernerheight

fanout=channelsout×kernerwidth×kernerheightfan_{out}=channels_{out}\times kerner_{width} \times kerner_{height} fanout=channelsout×kernerwidth×kernerheight

根据对http://deeplearning.net/tutorial/lenet.html中的理解，以及https://stackoverflow.com/questions/42670274/how-to-calculate-fan-in-and-fan-out-in-xavier-initialization-for-neural-networks中的描述，另外一种更加精确的描述为：
fanin=channelsin×receptivefieldheight×receptivefieldwidthfan_in = channels_{in}\times receptivefield_{height}\times receptivefield_{width}fanin=channelsin×receptivefieldheight×receptivefieldwidth

fanin=channelsin×receptivefieldheight×receptivefieldwidthmaxpoolareafan_in = \frac{channels_{in}\times receptivefield_{height}\times receptivefield_{width}}{maxpool_{area}}fanin=maxpoolareachannelsin×receptivefieldheight×receptivefieldwidth

按照第二种说法，空洞卷积（dilated convolution）的感受野要比普通卷积大，receptivefieldreceptivefieldreceptivefield与kernelkernelkernel的大小不同，计算结果也不同。

深度学习中的fan_in与fan_out相关推荐

深度学习中的一些英文解释
A: (1)anchors:锚点.(anchors(锚点)定义在RPN网络中) B: (1)bounding box:预测边界框. (2)Botton-up 3D proposal generatio ...
深度学习中的优化算法之MBGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...
深度学习中的优化算法之BGD
之前在https://blog.csdn.net/fengbingchun/article/details/75351323 介绍过梯度下降,常见的梯度下降有三种形式:BGD.SGD.MBGD,它们的 ...
深度学习中的优化简介
深度学习算法在许多情况下都涉及到优化. 1. 学习和纯优化有什么不同在大多数机器学习问题中,我们关注某些性能度量P,其定义于测试集上并且可能是不可解的.因此,我们只是间接地优化P.我们系统通过降低代 ...
1 图片channels_深度学习中各种图像库的图片读取方式
深度学习中各种图像库的图片读取方式总结在数据预处理过程中,经常需要写python代码搭建深度学习模型,不同的深度学习框架会有不同的读取数据方式(eg:Caffe的python接口默认BGR格式,Te ...
深度学习中的注意力机制（三）
作者 | 蘑菇先生来源 | NewBeeNLP原创出品深度学习Attenion小综述系列: 深度学习中的注意力机制(一) 深度学习中的注意力机制(二) 目前深度学习中热点之一就是注意力机制(Att ...
深度学习中的注意力机制（二）
作者 | 蘑菇先生来源 | NewBeeNLP 目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统,当人类观察外界事物的时候,一般不 ...
深度学习中的注意力机制（一）
作者 | 蘑菇先生来源 | NewBeeNLP 头图 | CSDN下载自视觉中国目前深度学习中热点之一就是注意力机制(Attention Mechanisms).Attention源于人类视觉系统 ...
深度学习中的优化算法串讲
Datawhale原创作者:谢文睿,Datawhale成员寄语:优化算法是一个超参数,一个优化算法不是适合所有损失函数的,没有哪个优化算法是绝对的好或绝对的坏,是要根据损失函数判断的本文对深度学 ...

深度学习中的fan_in与fan_out

深度学习中的fan_in与fan_out相关推荐

最新文章

热门文章