前言

《Designing Network Design Spaces》
论文地址：https://arxiv.org/pdf/2003.13678.pdf
代码：https://github.com/facebookresearch/pycls
何恺明团队在CVPR 2020上发布的论文，提出了RegNet。在相同的训练设计和FLOPs的条件下，RegNet的精度超越了之前最SOTA的EfficientNet，并且在GPU上的速度比EfficientNet快5倍。EfficientNet中分辨率、深度、宽度对网络的性能影响是相互作用的。CNN卷积神经网络之EfficientNet

近些年来，NAS（Neural Architecture Search）网络搜索技术非常火，但这对计算资源要求很高。包括这篇论文中的RegNet也有使用到NAS技术。但之前的一些有关NAS的论文都是在给定的设计空间（designed search space）中通过搜索算法去搜索出一组最佳参数组合。但在这篇论文中作者要探究的是如何去设计设计空间（design design spaces）并发现一些网络的通用设计准则。

设计思路

AnyNet设计空间

AnyNet设计空间是这篇论文中提出的最原始的设计空间，网络的主体就是由三部分组成（stem，body，head）。其中stem和head是固定不变的，stem就是一个普通的卷积层。head就是分类网络中常见的分类器，由一个全局平均池化层和全连接层构成。网络中最主要的就是body部分，body是由4个stage堆叠组成，而stage是由一系列block堆叠组成。但block的详细结构以及参数并没有做任何限制。论文作者说，根据他们的经验将block设计为带有分组卷积的残差结构。

这一路限制下来，搜索空间迅速下降，有点概率统计基础的可以很容易得到下面的结果：

其实作者还将原来AnyNetX设计空间的维度d从16个维度减少到6个维度，大小接近10个数量级。
此外，最后一个RegNet，作者认为，一个stage里的所有block的w通道数应该是一致的。

网络结构

RegNetY=RegNetX+SE，RegNetY在block中的3x3 Group Conv后接了个SE（Squeeze-and-Excitation）模块。CNN卷积神经网络之SENet

实验结果

RegNet和现有的SOTA移动端模型的性能对比：

RegNet和ResNet、ResNext模型的对比结果，与ResNet差不多的计算量下，RegNet性能更好(但是感觉跟ResNext不相上下)：

CNN卷积神经网络之RegNet相关推荐

3层-CNN卷积神经网络预测MNIST数字
3层-CNN卷积神经网络预测MNIST数字本文创建一个简单的三层卷积网络来预测 MNIST 数字.这个深层网络由两个带有 ReLU 和 maxpool 的卷积层以及两个全连接层组成. MNIST 由 ...
深度学习--TensorFlow（项目）识别自己的手写数字（基于CNN卷积神经网络）
目录基础理论一.训练CNN卷积神经网络 1.载入数据 2.改变数据维度 3.归一化 4.独热编码 5.搭建CNN卷积神经网络 5-1.第一层:第一个卷积层 5-2.第二层:第二个卷积层 5-3.扁 ...
plt保存图片_人工智能Keras CNN卷积神经网络的图片识别模型训练
CNN卷积神经网络是人工智能的开端,CNN卷积神经网络让计算机能够认识图片,文字,甚至音频与视频.CNN卷积神经网络的基础知识,可以参考:CNN卷积神经网络 LetNet体系结构是卷积神经网络的&qu ...
DeepLearning tutorial（4）CNN卷积神经网络原理简介+代码详解
FROM: http://blog.csdn.net/u012162613/article/details/43225445 DeepLearning tutorial(4)CNN卷积神经网络原理简介 ...
Deep Learning论文笔记之（五）CNN卷积神经网络代码理解
Deep Learning论文笔记之(五)CNN卷积神经网络代码理解 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文,但 ...
Deep Learning论文笔记之（四）CNN卷积神经网络推导和实现
Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现 zouxy09@qq.com http://blog.csdn.net/zouxy09 自己平时看了一些论文, ...
DL之CNN：关于CNN(卷积神经网络)经典论文原文(1950~2018)简介总结框架结构图(非常有价值)之持续更新(吐血整理)
DL之CNN:关于CNN(卷积神经网络)经典论文原文(1950~2018)简介总结框架结构图(非常有价值)之持续更新(吐血整理) 导读关于CNN,迄今为止已经提出了各种网络结构.其中特别 ...
CNN卷积神经网络：权值更新公式推导
版权声明:本文为博主原创文章,转载请注明出处. https://blog.csdn.net/happyer88/article/details/46772347 在上篇<CNN卷积神经网络学习笔 ...
cnn卷积神经网络_5分钟内卷积神经网络（CNN）
cnn卷积神经网络 Convolutional neural networks (CNNs) are the most popular machine leaning models for image ...

CNN卷积神经网络之RegNet