04论文笔记《Deep Residual Learning for Image Recognition》
《Deep Residual Learning for Image Recognition》
基于残差学习的图像识别
作者：Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sun
【成绩】
ResNet——MSRA何凯明团队的Residual Networks，2015年，在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩，而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper。
【创新点】
- 提出残差学习，解决了网络加深后发生的退化现象；
- 构建了更胜的网络（34/50/101/152层）
【现阶段的问题】
加深网络可以提取不同层级更丰富的特征，网络越深，提取到的特征越抽象，越具有语义信息，可以提高网络的性能；
加深网络回导致梯度消失或梯度爆炸；
引入ReLu激活函数；正则化层；权值正则化约束等，避免上述问题；
网络加深到一定程度后，出现退化现象，即更深的网络训练误差和测试误差均高于浅层网络；
当模型的层次加深时，错误率却提高了
退化现象出现的原因：
- 首先考虑过拟合，由于training error增大，所以不是由于参数数量增大导致过拟合；
- 网络选择ReLu激活函数以及BN等手段，一定程度上缓解了梯度消失现象，因此退化问题也不是由于梯度消失引起的；目前退化现象的原因还没有给出理论上的解释；
针对网络加深后出现的退化现象，提出残差网络来避免；
构建一个残差网络就是通过很多这样的残差块；
接下来，作者就设计实验来证明自己的观点。
首先构建了一个18层和一个34层的plain网络（普通网络），即将所有层进行简单的铺叠，然后构建了一个18层和一个34层的residual网络，仅仅是在plain上插入了shortcut，而且这两个网络的参数量、计算量相同，并且和之前有很好效果的VGG-19相比，计算量要小很多。这个模型最大的优势所在。
实验表明，在plain上观测到明显的退化现象，而且ResNet上不仅没有退化，34层网络的效果反而比18层的更好，而且不仅如此，ResNet的收敛速度比plain的要快得多。
残差学习为什么会起作用：
残差学习学习的是残差值，也就是除去相同部分的主要部分F(x)=H(x)-x；
如果F(x)=0（极端情况），则先前的网络已经达到最优，再加深无意义；
04论文笔记《Deep Residual Learning for Image Recognition》相关推荐
- 论文笔记——Deep Residual Learning for Image Recognition（论文及相关代码）
啊先说一些题外话,在刚刚进入深度学习的时候就在知乎上看到关于何恺明大神的phd的传奇经历.大概就是何大牛顶着光环选手的称号进的MSRA,peer的到第1-2年就已经各种论文刷到飞起,但是何大牛到第三年 ...
- 论文翻译[Deep Residual Learning for Image Recognition]
论文来源:Deep Residual Learning for Image Recognition [翻译人]:BDML@CQUT实验室 Deep Residual Learning for Imag ...
- 深度学习论文：Deep Residual Learning for Image Recognition
论文: He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the ...
- 【读点论文】Deep Residual Learning for Image Recognition 训练更深的网络
Deep Residual Learning for Image Recognition 深层次的神经网络更难训练.何凯明等人提出了一个残差学习框架,以简化比以前使用的网络更深的网络训练. 明确地将层 ...
- 深度学习论文翻译--Deep Residual Learning for Image Recognition
本文翻译论文为深度学习经典模型之一:ResNet 论文链接:https://arxiv.org/pdf/1512.03385.pdf 摘要:深度神经网络很难训练,为了解决这个问题,我们提出残差学习框架 ...
- #论文 《Deep Residual Learning for Image Recognition》
2015年的paper,微软何凯明等. 解决的问题: 梯度消失/爆炸问题: 之前的解决方案:This problem, however, has been largely addressed by n ...
- Deep Residual Learning for Image Recognition浅读与实现
目录 1.研究背景 2.目前研究存在的问题 3.本文贡献 4.文本模型 4.1构建块 4.2残差网络 5.模型训练 5.1 ImageNet2012 5.2 CIFAR-10 6.复现 6.1代码大致 ...
- Deep Residual Learning for Image Recognition（ResNet）论文翻译及学习笔记
[论文翻译]:Deep Residual Learning for Image Recognition [论文来源]:Deep Residual Learning for Image Recognit ...
- 图像分类经典卷积神经网络—ResNet论文翻译（中英文对照版）—Deep Residual Learning for Image Recognition（深度残差学习的图像识别）
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[ResNet纯中文版] Deep Residual Learning for Image ...
- 深度学习论文阅读图像分类篇（五）：ResNet《Deep Residual Learning for Image Recognition》
深度学习论文阅读图像分类篇(五):ResNet<Deep Residual Learning for Image Recognition> Abstract 摘要 1. Introduct ...
最新文章
- mysql 5.7 收费_MySQL5.7 常用用户操作
- TCP/IP协议（二）tcp/ip基础知识
- MAC 下的简单 SHELL 入门
- EC+VO+SCOPE for ES3
- 不学Python的同学，“跳一跳”都输了
- Python使用OpenCV+pillow提取AVI视频中关键帧图像
- [C/C++]堆栈的概念与区别
- 按键精灵 懒人插件连接mysql_按键精灵的办公插件大全下载-按键精灵懒人办公插件【新版】下载V15.0106.0.2官方免费版-西西软件下载...
- Centos6.5 安装配置 Apache +mysql +php 操作文档
- Mysql --- 索引
- re正则表达式7_{}
- 全志r16android sdk,全志 Allwinner R16 SoC 全套设计资料分享 原理图 PCB 数据手册 SDK...
- 通用评估神经网络鲁棒性方法—CLEVER
- 11 Mortal Fibonacci Rabbits
- ciscotftp服务器(ciscotftp服务器下载)
- 攻防技术第一篇之-知彼（攻击手段）
- 趁年轻，别把自己关在笼子里
- 如何制作精美的PPT动画？快速学会这3步，开场效果简洁又生动！
- C# 如何在Word文档中插入艺术字
- GBase 8s 产品简介