Resnet-50网络结构详解

解决的问题：

梯度消失，深层网络难训练。

因为梯度反向传播到前面的层，重复相乘可能使梯度无穷小。结果就是，随着网络的层数更深，其性能趋于饱和，甚至迅速下降。

关于为什么残差结构（即多了一条跳跃连接线后）为什么一定程度缓解了梯度消散的数学推导：

核心思想：

引入一个恒等快捷键（也称之为跳跃连接线），直接跳过一个或者多个层。

当有这条跳跃连接线时，网络层次很深导致梯度消失时，F(x)=0，y=g(0+x)=relu(x)=xF(x)=0，y=g(0+x)=relu(x)=xF(x)=0，y=g(0+x)=relu(x)=x

在网络上堆叠这样的结构，就算梯度消失，我什么也学不到，我至少把原来的样子恒等映射了过去，相当于在浅层网络上堆叠了“复制层”，这样至少不会比浅层网络差。
万一我不小心学到了什么，那就赚大了，由于我经常恒等映射，所以我学习到东西的概率很大。

当尺寸一样时才可以相加 “⊕” ，当尺寸不一样时，需要调成一样的再相加 “⊕” ，如下所示。

而所谓Resnet-18，Resnet-50等，不过是层数不一罢了，如下图，惯用的是Resnet-50与Resnet-101。

总结

ResNet的残差连接使得模型的深度似乎不再是限制，具体的原因可能是在堆叠的非线性映射中，神经网络难以学习到一个恒等映射，而残差连接使之更容易。
还有观点认为残差连接打破了神经网络的对称性，提高了每层神经元的利用率，另外网络能够加深也可能是因为多条支路保证了即使某些层退化也不会影响整体表现。

Resnet-50网络结构详解相关推荐

pytorch图像分类篇：6. ResNet网络结构详解与迁移学习简介
前言最近在b站发现了一个非常好的计算机视觉 + pytorch 的教程,相见恨晚,能让初学者少走很多弯路. 因此决定按着up给的教程路线:图像分类→目标检测→-一步步学习用pytorch实现深度学 ...
ResNet、ResNeXt详解以及代码实现
目录 ResNet网络结构详解 resnet的创新残差块Residul Block 整体网络结构 ResNet代码实现 ResNeXt详解组卷积更新了Block ResNeXt整体结构 ResN ...
AlexNet网络结构详解与代码复现
参考内容来自up:3.1 AlexNet网络结构详解与花分类数据集下载_哔哩哔哩_bilibili up主的CSDN博客:太阳花的小绿豆的博客_CSDN博客-深度学习,软件安装,Tensorflow领 ...
U-Net网络结构详解
U-Net网络结构详解 U-Net网络结构是对称的,由于网络结构像U型,所以被命名为U-Net.整体而言,U-Net是一个Encoder-Decoder(编码器-解码器)的结构,这一点是与FCN的结构 ...
深度学习之目标检测（五）-- RetinaNet网络结构详解
深度学习之目标检测(五)-- RetinaNet网络结构详解深度学习之目标检测(五)RetinaNet网络结构详解 1. RetinaNet 1.1 backbone 部分 1.2 预测器部分 1. ...
AlexNet网络结构详解（含各层维度大小计算过程）与PyTorch实现
AlexNet网络结构详解(含各层维度大小计算过程)与PyTorch实现 1.AlexNet之前的思考 2.AlexNet网络结构 3.AlexNet网络结构的主要贡献 4.PyTorch实现 ...
ResNet网络结构详解，网络搭建，迁移学习
前言: 参考内容来自up:6.1 ResNet网络结构,BN以及迁移学习详解_哔哩哔哩_bilibili up的代码和ppt:https://github.com/WZMIAOMIAO/deep-le ...
基于CIFAR100的VGG网络结构详解
基于CIFAR100的VGG网络详解码字不易,点赞收藏 1 数据集概况 1.1 CIFAR100 cifar100包含20个大类,共100类,train集50000张图片,test集10000张图片 ...
GoogLeNet网络结构详解及代码复现
1. GoogLeNet论文详解 Abstract: 提出了GoogLeNet网络结构--22层,此设计允许在保证计算预算不变的前提下,增加网络的深度和宽度,这个网络结构是基于Hebbian原则和多尺 ...
OSI七层网络结构详解
OSI模型的分层结构 OSI(Open System Interconnection),开放式系统互联参考模型 ,它把网络协议从逻辑上分为了7层.这7层分别为:物理层.数据链路层.网络层.传输层.会话 ...

Resnet-50网络结构详解

解决的问题：

核心思想：

总结

Resnet-50网络结构详解相关推荐

最新文章

热门文章