残差结构Residual

初次接触残差结构是在ResNets的网络中，可以随着网络深度的增加，训练误差会越来越多（被称为网络退化）的问题，引入残差结构即使网络再深吗，训练的表现仍表现很好。它有助于解决梯度消失和梯度爆炸问题，让我们在训练更深网络的同时，又能保证良好的信息。

残差结构示意图

残差网络的设计思想
残差元的主要设计有两个，快捷连接和恒等映射，快捷连接使得残差变得可能，而恒等映射使得网络变深，而恒等映射主要有两个：跳跃连接和激活函数。

实验证明残差块往往需要两层以上，单单一层的残差块y = W 1 ∗ x + x并不能起作用。实际中，考虑计算的成本，对残差块做了计算优化，即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1, 如下图。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算，然后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量。

2.BN

What is BN
Normalization是数据标准化（归一化，规范化），Batch 可以理解为批量，加起来就是批量标准化。
先说Batch是怎么确定的。在CNN中，Batch就是训练网络所设定的图片数量batch_size。
Normalization过程，引用论文中的解释：

卷积神经网络CNN—— BN(Batch Normalization) 原理与使用过程详解
输入：输入数据x1…xm（这些数据是准备进入激活函数的数据）
计算过程中可以看到,
1.求数据均值；
2.求数据方差；
3.数据进行标准化（个人认为称作正态化也可以）
4.训练参数γ，β
5.输出y通过γ与β的线性变换得到新的值

在正向传播的时候，通过可学习的γ与β参数求出新的分布值

在反向传播的时候，通过链式求导方式，求出γ与β以及相关权值

Why is BN
解决的问题是梯度消失与梯度爆炸。

残差结构Residual、BN(Batch Normalization)相关推荐

透彻理解BN(Batch Normalization)层
什么是BN Batch Normalization是2015年论文<Batch Normalization: Accelerating Deep Network Training by Redu ...
什么是BN(Batch Normalization)
什么是BN(Batch Normalization)? 在之前看的深度学习的期刊里,讲到了BN,故对BN做一个详细的了解.在网上查阅了许多资料,终于有一丝明白. 什么是BN? 2015年的论文< ...
理解BN(Batch Normalization)
https://www.cnblogs.com/king-lp 转自:参数优化方法 1. 深度学习流程简介 1)一次性设置(One time setup) - 激活函数(Activ ...
BN(Batch Normalization)
批量归一化(BN: Batch Normalization) batch size=8样本,每个样本4维度,左边是数字是第l层输出,即每个神经元输出8个响应值,再经过计算均值,方差后: 值都在0附近, ...
卷积神经网络CNN（2）—— BN(Batch Normalization) 原理与使用过程详解
前言 Batch Normalization是由google提出的一种训练优化方法.参考论文:Batch Normalization Accelerating Deep Network Trainin ...
BN(Batch Normalization) 原理与使用过程详解
论文名字:Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 论 ...
BN——Batch Normalization：Accelerating Deep Network Training by Reducing Internal Covariate Shift
原文:https://arxiv.org/pdf/1502.03167.pdf 摘要训练深度神经网络的复杂性在于,每层输入的分布在训练过程中会发生变化,因为前面的层的参数会发生变化.通过要求较低的学 ...
BN（Batch Normalization）：批量归一化
现在的神经网络通常都特别深,在输出层像输入层传播导数的过程中,梯度很容易被激活函数或是权重以指数级的规模缩小或放大,从而产生"梯度消失"或"梯度爆炸"的现象,造 ...
ResNet、残差结构、迁移学习
文章目录前言一.ResNet 二.残差结构 BN层三.迁移学习前言机器学习基本知识--Resnet.残差结构.迁移学习参考内容来自b站up主:https://space.bilibili. ...

残差结构Residual、BN(Batch Normalization)

残差结构Residual

2.BN

残差结构Residual、BN(Batch Normalization)相关推荐

最新文章

热门文章