【论文阅读】计算机视觉经典论文合辑
文章目录
- 引言
- AlexNet
- VGG-Net
- ResNet
- Inception models家族
- ResNeXt
引言
读经典论文,更能获得一些通用的idea启发,同时也是补充基础知识的过程。本文stepwise更新,且读且更新~
AlexNet
文章:2012-NIPS-Imagenet classification with deep convolutional neural networks
使用了分组卷积:
- 最初是因为显存不够使用的,后来被发现是一种很好的降低参数量的方式
- 具体机制可以参考分组卷积:Grouped convolution,搞懂原理后可以得知,分几组,参数量就减少为几分之一
VGG-Net
文章:2015-ICLR-Very deep convolutional networks for large-scale image recognition
展现了一个简单且有效的构造深度网络的策略:堆叠相同shape的building block
ResNet
文章:2016-CVPR-ResNet-Deep residual learning for image recognition
堆叠具有相同拓扑结构的模块(相对于VGG的相同shape的block,此概念的范围更广,某拓扑结构的模块可能是多个block的集合)
- 这个策略减少了超参数的自由选择,同时深度成为了网络中的重要维度
- 同时能够减少适应某个数据集的超参的过拟合风险
Inception models家族
代表文章:
- 2015-CVPR-Going deeper with convolutions
- 2015-ICML-Batch normalization: Accelerating deep network training by reducing internal covariate shift
- 2016-CVPR-Rethinking the inception architecture for computer vision
- 2616-ICLR-Inceptionv4, inception-resnet and the impact of residual connections on learning
证明了精心设计的拓扑能够在低理论复杂度下获得有竞争力的准确率
- 常用策略:split-transform-merge策略;输入首先被 1 ∗ 1 1*1 1∗1卷积切分为几个低维嵌入,然后使用特定卷积核进行转换(比如 3 ∗ 3 3*3 3∗3、 5 ∗ 5 5*5 5∗5的卷积核),最后将特征concat;
- 这种结构的解空间是操作在高维嵌入中的单一大层解空间的严格子空间(听不大懂,因为还没看过具体论文,但是大概意思是说这种先切分后合并的策略,理论上证明是合理的)
- 这种split-transform-merge策略能够逼近大而密层的表示能力(就是说小结构获得大能量)
- 然而会有较大的计算复杂度(理论上低,但也是要牺牲计算复杂度的)
- 模型的实现伴随着一系列复杂的因素,比如每个变换的卷积核数值和大小需要定制,以及模型需要一步步地定做(也就是说对于新任务新数据集,这些超参需要重新进行严格地设定)
ResNeXt
文章:2017-CVPR-ResNeXt-Aggregated Residual Transformations for Deep Neural Networks
提出一个简单的、高度模块化的网络(老朋友了,高模块化就是说,整个网络可以浓缩为几个高频building block,这些block就是整个网络的关键):
- 这里的building block能够聚合有相同拓扑的变换集,如下图右
- 这个高频block与之前不同的是,提出了一个新的维度,称为基数(cardinality),表示变换集的大小(也就是上图右的path)。这个参数在准确率的表现上,经验证比网络的深度(层数)和宽度(通道数)更为重要;同时它还能保证不增加网络的复杂度(FLOPs)和参数量
- 在真正实践中,可以处于工程妥协,将block进行等价的变换:
【论文阅读】计算机视觉经典论文合辑相关推荐
- [论文阅读] (12)英文论文引言introduction如何撰写及精句摘抄——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
- [论文阅读] (13)英文论文模型设计(Model Design)如何撰写及精句摘抄——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
- [论文阅读] (14)英文论文实验评估(Evaluation)如何撰写及精句摘抄(上)——以入侵检测系统(IDS)为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
- [论文阅读] (18)英文论文Model Design和Overview如何撰写及精句摘抄——以系统AI安全顶会为例
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
- 计算机视觉经典论文整理
经典论文 计算机视觉论文 ImageNet分类 物体检测 物体跟踪 低级视觉 边缘检测 语义分割 视觉注意力和显著性 物体识别 人体姿态估计 CNN原理和性质(Understanding CNN) 图 ...
- 【论文阅读+】SCRDet 论文翻译学习
SCRDet:Towards More Robust Detection for Small, Cluttered and Rotated Objects_babywang0的博客-CSDN博客_sc ...
- 【经典论文阅读】DeepSort论文阅读与思路分析
文章目录 1. Abstract 2. Introduction 3. SORT WITH DEEP ASSOCIATION METRIC 3.1 Track Handling and State E ...
- 计算机视觉经典论文的参考论文目录
文章目录 [1] [OverFeat](https://blog.csdn.net/weixin_41665360/article/details/85715773) [2] [R-CNN](http ...
- 【论文阅读】研究生论文学习技巧
一.提取关键信息点 1.研究背景:首先确定作者想研究什么,引言的前部分不需要细看,重点看段落的结尾或另起一段的开头,这些一般是作者想要研究的东西. 2.实验方案:一般是论文的研究思路,所以在看论文的时 ...
最新文章
- php采集列表xml代码,php读取xml列表程序
- java 通过反射获取调用类方法及属性
- django-oscar接入paypal的时候提示Error 10001 - Internal Error
- combotree 可以异步加载吗_Unity AssetBundle 资源打包,加载,本地缓存方式,安卓,PC本地加载路径问题...
- android中的 listview,Android中ListView的初步认识(一)
- python 线性规划问题_一学高数,线代就头疼?让python帮你解决(内含教程)
- 五、集合——3-Set集合
- php solr 全文检索,全文检索可视化动态管理(二)--solr二次开发和solrj扩展
- 在windows实现和smtp交互发送邮件
- 位运算 —— 一个数二进制形式尾端为 0 的个数
- Struts2整合Spring方法及原理
- java hex to ascii_使用java实现hex和ascii码的转换
- 计算机辅助工程分析及应用论文,浅谈计算机辅助工程(CAE) 毕业设计(论文).doc...
- 透过现象看本质(一)
- Nacos 原理 Jraft Distro Grpc 持续跟新中...
- 疫情期间华为面试总结
- 将ubuntu光盘作为安装源_Ubuntu之apt-get光盘源配置小结
- C++ vector 和push_back 详解
- python关于luminati国外动态代理的使用
- 将中文汉字转换成拼音(全拼)