问题：当网络深度到一定深度后，网络层数越深，纯神经网络的效果呢，如图所示？

从理论上来讲，神经网络越深，其学习能力越强；但实际上却面临着优化难题；不是梯度消失也不是梯度爆炸导致的，因为使用了BN；论文作者推断是因为深度网络面临着随着层数增加，而出现指数级下降的收敛速度，换句话说，需要非常多的训练次数；这个优化难题留在未来解决；

作者设计了两个网络，一个是较浅的神经网络结构，另一个较深的神经网络结构在前者后面链接数据层网络，但其新的层数只有一个功能就是完美复制，不作任用修改，专业术语为恒等映射，其结果为输出结果完全等同于较浅的神经网络；这个设计就表明更深的深度神经网络至少能训练出不亚于较浅的神经网络结构模型；但事实证明无法找到比这种恒等映射更好的结果了；

针对这个超深度网络，作者独创了一种名为residual learning，如图所示：

可以把正常的h(x)分成两部分一是f(x)与x，可以看作是先验的一部分，也可以一种独特的结构，对h(x)的收敛方向作了一定的约束或者指向；可以加快其收敛速度；该结构的网络非常容易优化，网络深度快速增加时，能较快的优化或者收敛；效果如图所示：

作者将层数增加到1000层，训练误差降到历史新低，但测试误差一样；说明此时出现了过拟合；此时可以考虑使用dropout，maxout等正则化；

对于imagenet的训练，于卷积后激活之前使用了BN,使用了batchsize=256的SGD，学习率从0.1开始，每进入稳定期后，学习率除以10，迭代次数为60万次，使用权重decay值为0.0001，动量系数为0.9，不使用dropout；

对于CIFAR-10的训练，使用权重decay值为0.0001，动量系数为0.9，不使用dropout，mini-batchsize=128，两块GPU，学习率以0.1开始，到迭代到32000次和48000次时学习率除以10；当层数增加到110层时，初始学习率为0.1就太大而不能收敛，所以开始就以0.01进行训练直到训练误差下降到80%（大概迭代480次），然后将学习率恢复到0.1进行训练

Deep Residual Learning for Image Recognition个人有感相关推荐

1. Deep Residual Learning for Image Recognition（ResNet）论文翻译及学习笔记

   [论文翻译]:Deep Residual Learning for Image Recognition [论文来源]:Deep Residual Learning for Image Recognit ...

2. 图像分类经典卷积神经网络—ResNet论文翻译（中英文对照版）—Deep Residual Learning for Image Recognition（深度残差学习的图像识别）

   图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[ResNet纯中文版] Deep Residual Learning for Image ...

3. 深度学习论文：Deep Residual Learning for Image Recognition

   论文: He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the ...

4. 深度学习论文阅读图像分类篇（五）：ResNet《Deep Residual Learning for Image Recognition》

   深度学习论文阅读图像分类篇(五):ResNet<Deep Residual Learning for Image Recognition> Abstract 摘要 1. Introduct ...

5. 【论文翻译】Deep Residual Learning for Image Recognition

   [论文翻译]Deep Residual Learning for Image Recognition [论文题目]Deep Residual Learning for Image Recognitio ...

6. 论文翻译[Deep Residual Learning for Image Recognition]

   论文来源:Deep Residual Learning for Image Recognition [翻译人]:BDML@CQUT实验室 Deep Residual Learning for Imag ...

7. 基于深度残差学习的图像识别 Deep Residual Learning for Image Recognition

   [译]基于深度残差学习的图像识别 Deep Residual Learning for Image Recognition Kaiming He Xiangyu Zhang Shaoqing Ren ...

8. Deep Residual Learning for Image Recognition浅读与实现

   目录 1.研究背景 2.目前研究存在的问题 3.本文贡献 4.文本模型 4.1构建块 4.2残差网络 5.模型训练 5.1 ImageNet2012 5.2 CIFAR-10 6.复现 6.1代码大致 ...

9. 图像分类经典卷积神经网络—ResNet论文翻译（纯中文版）—Deep Residual Learning for Image Recognition（深度残差学习的图像识别）

   图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为纯中文版,中英文对照版请稳步:[ResNet中英文对照版] Deep Residual Learning for Ima ...

最新文章

1. 为AI从业者/研究生/研究员专门定制的全网唯一高端AI训练营
2. 共建网络安全堤坝，守住网络安全底线
3. golang中的并发服务器
4. The Preliminary Contest for ICPC China Nanchang National Invitational
5. redis 安装使用
6. SAP CRM的订单模型移植到S4HANA后，在订单保存功能上作出的改进
7. clickhouse 分片
8. 为什么你跟高手有差距？因为他们会在假期里读这5本书
9. php类似while函数,php 实现类似于pyhon中的Construct库的功能（四）实现do-while功能...
10. rms归一化_将FFT频谱幅度归一化为0dB
11. linux服务器下安装phpstudy 如何命令行进入mysql
12. SQL语言 --- 数据定义
13. maya布料预设解析
14. android全面屏系统哪个版本开始,屏幕类型全面屏（水滴屏）出厂系统内核Android9.0.PDF...
15. excel多表格整合去重与空格去除
16. 关于Python列表解析式以及初始化指定size列表
17. 为什么局部下降最快的方向就是梯度的负方向？
18. java 使用HttpC'lient 解析webService
19. Python基础---输入和输出
20. 纯原生javascript下拉框表单美化实例教程

热门文章

1. python字符串与列表的相互转换
2. python中super的用法实例解析
3. 如何确认与服务器偏差_货架如何正确验收
4. visual studio C语言指针提示：使用未初始化的内存xx
5. flask img标签图片中src链接添加变量问题（好坑啊，不过终于成功了！！）
6. pycharm导入（import）报红（出现红色波浪线）解决办法（Mark Directory as —— Sources Root）
7. yolo-v2 v3实现笔记 mAP：mean average precision 平均精度均值
8. wordpress留言板comments.php添加自定义字段,php – 如何在WordPress / WooCommerce 3中的注释表单中添加自定义字段...
9. Docker环境运行SpringBoot项目
10. 服务器监控工具_系统管理员不可错过的 6 款服务器监控工具