论文阅读——Densely Connected Convolutional Networks
前言
之前有一段时间看了挺多深度学习方面的论文,但是由于时间方面的问题一直没来得及进行总结。最近一段时间突发奇想把自己看论文时的学习笔记给记录一下,由于之前没写过博文,所以排版可能会有点emmm...一言难尽。专业方面的知识,如果有理解不到位的地方欢迎各位大佬指教。
Abstract
本文的主要工作:
- 提出了一种Dense Convolutional Network(DenseNet)网络,该网络缓解了消失梯度问题,增强了特征传播,促进了特征再用并且大大减少了参数的数量。
- 在四个有竞争力的数据集(CIFAR-10, CIFAR-100, SVHN, and ImageNet)上进行实验,将DenseNet与其他最先进网络的性能作对比。
1、Introduction
这一部分主要是介绍了近些年来随着卷积网络深度的增加,训练时出现了梯度消失的问题,以及最近的解决该问题的方法。最后提出密集卷积网络DenseNet,并对网络的大概构造进行概述。
1、解决梯度消失的方法:
- ResNets和Highway Networks通过增加一条恒等映射将特征从一层传递到另一层。
- FractalNets将不同数量的卷积块的多个并行层序列重复组合,以获得较大的标称深度,同时在网络中保持许多短路径。
- Stochastic depth通过随机丢弃卷积层来缩短ResNets,以得到更好的信息流和梯度流。
2、密集卷积网络DenseNet的网络架构
- 网络中的每个层从它前面的所有层获得附加输入,并将输出传递给它后面的所有层。
- 从前面层中传递过来的特征图通过通道拼接构成输入(而不是像ResNets中进行对应通道相加)。
- 在DenseNet中第
层有
个输入,假设网络共有
层,则总连接数为
。
![](/assets/blank.gif)
3、DenseNet网络架构的优点
- 需要的参数比传统的卷积网络少,无需重新学习冗余特征图。
- 可以清楚地区分添加到网络的信息和需要保存的信息。
- 网络中的每层都可以直接从损失函数和原始输入信号中获得梯度,从而产生隐性深层监督。
- 改善了整个网络中的信息和梯度流动,使得网络更易于训练。
2、Related Work
这一部分作者主要是提到了一些最近在卷积神经网络结构方面的科研进展。
- Highway Networks:使用快捷连接和门控单元降低了数百层级别的卷积网络的优化难度。
- ResNets:进一步支持了Highway Networks的研究,其使用恒等映射作为快捷连接并达到了突破纪录的性能。
- Stochastic depth:训练了1202层ResNets网络,通过在训练期间随机丢弃卷积层来改善深度残留网络的训练。
- GoogLeNet:使用一个“Inception module”,将不同大小卷积核产生的特征图连接起来。
- Ladder Networks:引入了自动编码器的横向连接,在半监督的学习任务中产生了非常高的精度。
3、DenseNets
这一部分主要是对网络中的一些部件进行介绍。文章中假设输入网络的图片为,网络一共有
层,第
层的非线性变换为
。
1、ResNets
- ResNets网络可以用以下函数来表示:
。
- 优点:梯度直接通过特征函数从后面层流向前面的层。
- 缺点:使用
输出和
求和可能会阻碍网络中的信息流。
2、Dense connectivity(密集连接)
- DenseNet采用的是从任何层到所有后续层的直接连接方式。即第
层接收所有前面层输出的特征图
作为输入,数学表达式为
,其中
表示将第
层前所有层输出的特征图进行拼接。
3、复合函数
是三个连续操作的复合函数:BN标准化,ReLU激活函数和一个3×3卷积。
4、池化层
- 由于下采样层是卷积网络的一个重要组成部分,而在执行下采样后输出特征图的大小发生变化无法与前面层中输出的特征图进行拼接,因此文章中将DenseNets分为多个密集连接模块,模块内使用密集连接结构。而模块间的层被称为过渡层,过渡层一般由BN标准化、1×1卷积和2×2的平均池化构成。
![](/assets/blank.gif)
5、Growth rate(增长率)
- 假设每个
会产生
个特征图,则
为DenseNet的增长率。
- 假设
为输入图像的通道数,则第
层的输入有
个特征图。
- 由于每一层都可以访问同一模块中所有前面层输出的特征图,DenseNet可以在增长率比较小(即网络宽度比较小)的情况下达到很好的精度并且所需要的参数量较少。
6、瓶颈层
- 虽然DenseNet每层都只输出
个特征图,但是每层的输入量还是相当大的。因此文章中想到使用瓶颈层的方式来减少输入特征的数量以提高计算效率。具体操作是:对于一个密集连接模块,在每个BN-ReLU-Conv(3×3)构成的小模块前面添加一个BN-ReLU-Conv(1×1)小模块,这些小模块中1×1卷积会产生
(
为增长率)个特征图以减少实际输入3×3卷积中的特征图数量。文章中把这个添加了瓶颈层的网络称为DenseNet-B。
7、压缩
- 为了提高模型的紧凑性,文章中进一步减少过渡层产生的特征图数量,假设
为压缩因子,输入过渡层的特征图数目为
,则输出过渡层的特征图数目为
。文章中将
的DenseNet称为DenseNet-C,将
并添加了瓶颈层的DenseNet称为DenseNet-BC。
8、实施细节
- 实验中使用的具体网络配置如下表所示:
![](/assets/blank.gif)
论文阅读——Densely Connected Convolutional Networks相关推荐
- 论文翻译-Densely Connected Convolutional Networks
Densely Connected Convolutional Networks/密集连接卷积网络 摘要: 第一段:denseNet的连接方式和优点 最难研究表明:如果网络中包含接近输入层和接近输出层 ...
- [论文评析]Densely Connected Convolutional Networks,CVPR,2017
Densely Connected Convolutional Networks, 文章信息 背景与动机 DenseNet Dense block DenseNet DenseNet的集中经典配置 总 ...
- Densely Connected Convolutional Networks 阅读
https://blog.csdn.net/u014380165/article/details/75142664 论文:Densely Connected Convolutional Network ...
- 【论文阅读及复现】(2017)Densely Connected Convolutional Networks + Pytorch代码实现
文章目录 一.摘要 二.Dense Net 网络结构 三.Dense Block 四.PyTorch-GPU代码实现 论文来源:(2017)Densely Connected Convolutiona ...
- 【Network Architecture】Densely Connected Convolutional Networks 论文解析
[Network Architecture]Densely Connected Convolutional Networks 论文解析 目录 0. Paper link 1. Overview 2. ...
- 论文笔记:Densely Connected Convolutional Networks (2017 CVPR)
[引用格式]:G. Huang, Z. Liu, L. Van Der Maaten and K. Q. Weinberger, "Densely Connected Convolution ...
- 论文笔记:Densely Connected Convolutional Networks(DenseNet模型详解)
[ 转载自http://www.yyliu.cn/post/7cabb4ff.html ] CVPR 2017上,清华大学的Zhuang Liu.康奈尔大学的Gao Huang和Kilian Q.We ...
- Densely Connected Convolutional Networks(论文解读三)
目录 DenseNet:论文解读 1. Abstract 2. Related work 2.1 通过级联来加深网络 2.2 通过 shortcut 连接来加深网络 2.3 通过加宽网络来使网络更深 ...
- 《Densely Connected Convolutional Networks》论文心得
<Densely Connected Convolutional Networks>论文心得 作者及其所在团队在国内外相关领域所处水平: 黄高:美国康奈尔大学计算机系博士后主要研究领域为深 ...
最新文章
- 全国计算机等级考试 简称NCRE,长春大学2018年下半年全国计算机等级考试(简称NCRE)招生简章...
- 栈----生产者消费者实例
- python中判断列表数据类型_浅谈Python数据类型判断及列表脚本操作
- ttf_openfont可以多次调用吗_西门子OB块、FC块、FB块、DB块之间有什么关系?如何调用?...
- P4254-[JSOI2008]Blue Mary开公司【李超树】
- P1550 [USACO08OCT]打井Watering Hole
- 蓝牙冒充攻击(BIAS),无线安全不可忽视
- 不是技术牛人,如何进去自己梦想的公司
- 嘘!捡漏啦!1919元=高性能电脑,满额+500京东卡...
- canvas用于绘制视频
- 历届试题 Excel地址(Excel单元格的地址表示很有趣,它使用字母来表示列号。 比如, A表示第1列, B表示第2列, Z表示第26列, AA表示第27列,)
- 基于appinventor与EasyDL物体检测API的物体检测app
- 在挑战中成长:CTO的生存与发展之道
- Virtual Box与win10系统不兼容问题
- Camunda入门(四) - 流程应用(支付流程)入门示例
- 已知一个靶点,如何获取旗下相关的生物实验,临床试验,以及上市药物数据.
- VBA应用笔记 -- 批量导出excel工作表中的图片
- \t\t北京社保卡 问题汇总 参保人 结算问题
- 拼多多百亿补贴商品详情API接口(item_get-根据ID取商品详情)
- 获取图片某种颜色所占百分比
热门文章
- 【计算机体系结构-03】ISA (Instruction Set Architecture) 指令集架构特性
- Myeclipse CI 2019.4.x激活教程
- 云计算中微服务相关论文泛读
- TestDouble Learning Summary
- 采购HDI盲埋孔电路板的注意事项?
- 谁要是娶这种妻子就不配做男人!(转载)
- java课程设计心得_Java课设总结(个人版)
- 福昕PDF编辑器手机版4.0发布,让PDF跟Word一样简单
- SQL Server 2005 Express 远程连接 客户端 远程访问 设置 全攻略 (适用 SQL Server 2005 其他版本)
- mac vbox 共享文件夹_mac virtualbox 设置共享剪切板和目录