局部响应归一化LRN (Local Response Normalization)
一、LRN技术介绍:
LRN(Local Response Normalization) 是一种提高深度学习准确度的技术方法。 LRN 一般是在激活、 池化函数后的一种方法。在 ALexNet 中, 提出了 LRN 层, 对局部神经元的活动创建竞争机制, 使其中响应比较大对值变得相对更大, 并抑制其他反馈较小的神经元, 增强了模型的泛化能力。
AlexNet将LeNet的思想发扬光大,把CNN的基本原理应用到了很深很宽的网络中。AlexNet主要使用到的新技术点如下。
(1)成功使用ReLU作为CNN的激活函数,并验证其效果在较深的网络超过了Sigmoid,成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了,但是直到AlexNet的出现才将其发扬光大。
(2)训练时使用Dropout随机忽略一部分神经元,以避免模型过拟合。Dropout虽有单独的论文论述,但是AlexNet将其实用化,通过实践证实了它的效果。在AlexNet中主要是最后几个全连接层使用了Dropout。
(3)在CNN中使用重叠的最大池化。此前CNN中普遍使用平均池化,AlexNet全部使用最大池化,避免平均池化的模糊化效果。并且AlexNet中提出让步长比池化核的尺寸小,这样池化层的输出之间会有重叠和覆盖,提升了特征的丰富性。
(4)提出了LRN层,对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力。
二、为什么要有LRN
三、LRN计算公式
Hinton在2012年的Alexnet网络中给出其具体的计算公式如下:
这个公式中的参数:
- a表示卷积层(包括卷积操作和池化操作)后的输出结果,这个输出结果的结构是一个四维数组[batch,height,width,channel],batch就是批次数(每一批为n张图片),
- height就是图片高度,
- width就是图片宽度,
- channel就是通道数,可以理解成一批图片中的某一个图片经过卷积操作后输出的神经元个数(或是理解成处理后的图片深度)。
表示在这个输出结构中的一个位置[a,b,c,d],可以理解成在某一张图中的某一个通道下的某个高度和某个宽度位置的点,即第a张图的第d个通道下的高度为b宽度为c的点。
- 论文公式中的N表示通道数(channel)。
- a,n/2,k,α,β分别表示函数中的input,depth_radius,bias,alpha,beta,其中n/2,k,α,β都是自定义的,
- 特别注意一下∑叠加的方向是沿着通道方向的,即每个点值的平方和是沿着a中的第3维channel方向的,也就是一个点同方向的前面n/2个通道(最小为第0个通道)和后n/2个通道(最大为第d-1个通道)的点的平方和(共n+1个点)。而函数的英文注解中也说明了把input当成是d个3维的矩阵,说白了就是把input的通道数当作3维矩阵的个数,叠加的方向也是在通道方向。
公式看上去比较复杂,但理解起来非常简单。i表示第i个核在位置(x,y)运用激活函数ReLU后的输出,n是同一位置上临近的kernal map的数目,N是kernal的总数。参数K,n,alpha,belta都是超参数,一般设置k=2,n=5,aloha=1*e-4,beta=0.75。
局部响应归一化LRN (Local Response Normalization)相关推荐
- 局部响应归一化LRN(Local Response Normalization)
LRN一般是在激活.池化后进行的一中处理方法. 其主要思想是:对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力. 更加详细可看:ht ...
- 局部响应归一化(Local Response Normalization,LRN)和批量归一化(Batch Normalization,BN)的区别
为什么要归一化? 归一化已成为深度神经网络中的一个重要步骤,它可以弥补ReLU.ELU等激活函数无界性的问题.有了这些激活函数,输出层就不会被限制在一个有限的范围内(比如tanh的[−1,1][-1, ...
- 局部响应归一化(Local Response Normalization)
LRN是一种提高深度学习准确度的技术方法.LRN一般是在激活.池化函数后的一种方法. 在ALexNet中,提出了LRN层,对局部神经元的活动创建竞争机制,使其中响应比较大对值变得相对更大,并抑制其他 ...
- LRN (Local Response Normalization,即局部响应归一化层)
LRN (Local Response Normalization,即局部响应归一化层) (一)先看看归一化吧 什么是归一化? 归一化化是归纳统一样本的统计分布性.就是要把你需要处理的数据经过处理后( ...
- 深度神经网络中的局部响应归一化LRN简介及实现
Alex.Hinton等人在2012年的NIPS论文<ImageNet Classification with Deep Convolutional Neural Networks>中将L ...
- 深度学习饱受争议的局部响应归一化(LRN)详解
前言:Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法.其中caffe.tensorflow等里面是很常见的方法,其跟激活函数是有区 ...
- LRN(Local Response Normalization)局部归一化分析
其中LRN的公式如下: 论文中说 Denoting by aix,y the activity of a neuron computed by applying kernel i at positio ...
- AlexNet中的局部响应归一化(LRN)
1,简介 局部响应归一化(Local Response Normalization,LRN),提出于2012年的AlexNet中.首先要引入一个神经生物学的概念:侧抑制(lateral inhibit ...
- Local Response Normalization作用——对局部神经元的活动创建竞争机制,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强了模型的泛化能力...
AlexNet将LeNet的思想发扬光大,把CNN的基本原理应用到了很深很宽的网络中.AlexNet主要使用到的新技术点如下. (1)成功使用ReLU作为CNN的激活函数,并验证其效果在较深的网络超过 ...
最新文章
- Mac OS X 下 TAR.GZ 方式安装 MySQL
- Java 7:项目代币中的代码示例
- python制作聊天机器人原理_用 Python 来做一个聊天机器人吧!(一)
- SCOPE_IDENTITY()、 @@IDENTITY 、 IDENT_CURRENT()
- Java 8 Base64 编码解码
- 特殊字符 U+200X/
- 华硕x8aip_华硕X8AIP可以升级么?如果可以……求升级建议……
- 电子工程师 嵌入式开发者的嘉年华最强攻略
- 联合国首席AI顾问专访:我们期望AI应该是完美的,但这永远不会
- sam格式的结构和意义_SAM格式说明
- python3.0安卓版-python安卓版
- 软考 案例分析__预测
- js 验证身份证号,根据身份证获取出生年月/性别
- Trends, Limitations and Open Challenges inAutomatic Readability Assessment Research翻译
- 11款面向Linux系统的备份工具,超实用!
- 精通CSS-添加样式
- Matlab:合并来自各自变量的日期和时间
- 奥运来了,有些常用药在药店买不到。
- win10html怎么创建后打不开,Win10打不开路由器设置页面(设置界面)怎么办?
- 学习笔记(01):OpenGL-三角形列表绘-顶点数据方式绘制