0.摘要

作者有几种通过思想十分的好值得借鉴：
1.vgg和inception等网络中，都是block的组合，这是一种十分简洁的组网方式
2.提出了基数的概念:用来和衡量拆分、转换和聚合模块的复杂度

论文思路：
1.结构类似于inception+resnet还有点mobile net的味道
2.但是他觉得inception中的block要人工设计太麻烦，而且要很多超参数
3.作者觉得他的基数比深度d和宽度w更具体，更可以度量，再深度和宽度饱和后可以使用基数来提高精度（我只认同一半）
4.牺牲掉x通道进行卷积，转而使用n个x/n个通道进行卷积来获得参数上的缩小，和mobilenet一样。
5.Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果

我的改进
分组卷积会带来全channel特征提前到损失，可以约定几个feature map来记录

1.拆分、转换和聚合（split-transform-merge）

1.1从传统的神经元中获得灵感

split-transform-merge也就是拆分、转换和聚合，这中模式和神经元的工作很相似：
1.分裂：向量X被切成低维嵌入，在上面，它是一维维子空间
2.变换：对低维表示进行变换,神经元是进行了简单的线性组合
3.聚合：所有嵌入中的转换按∑求和

1.2分组卷积

比如当输入通道为256，输出通道也为256，kernel size为3×3，不做
Group conv参数为256×3×3×256。实施分组卷积时，若group为8，每个group的input channel和output channel均为32，参数为8×32×3×3×32，是原来的八分之一

当把组数为输入通道数，而且输出也是输入通道数的时候就变成了mobilenet

1.3 ResNext模块结构

输入通道大小为256，用1*1卷积核，输出的通道为4.基数为32
上为ResNext，可以看出来内部的每一条都是一样的，a和b的结构与类似，只是b是现concat再进行1*1卷积,而c只是描述起来不同，但是实质上一样的模块32*4=128

相应的在3x3卷积和5x5卷积前面、3x3池化后面添加1x1卷积，将信息聚集且可以有效减少参数量。下一层block就包含1x1卷积，3x3卷积，5x5卷积，3x3池化(使用这样的尺寸不是必需的，可以根据需要进行调整)。这样，网络中每一层都能学习到“稀疏”（3x3、5x5）或“不稀疏”（1x1）的特征，既增加了网络的宽度，也增加了网络对尺度的适应性；

1.4网络结构

C=32”表示分组卷积为32组，d=4为卷积核的个数

2.实验结果

此时的resnet50和resnext50的计算复杂度都是一样的

第一个是基准模型，增加深度和宽度的分别是第三和第四个，可以看到误差分别降低了0.3%和0.7%。但是第五个加倍了Cardinality，则降低了1.3%，第六个Cardinality加到64，则降低了1.6%。显然增加Cardianlity比增加深度或宽度更有效。

Resnext论文学习相关推荐

动态环境下的SLAM：DynaSLAM 论文学习笔记
动态环境下的SLAM:DynaSLAM 论文学习笔记这篇文章论文摘要系统流程相关环节的实现方法神经网络检测图中动态物体(Mask R-CNN) Low-Cost Tracking 使用多视图 ...
单目相机 svd 从图像恢复3维位置_论文学习——VINSMono：一种鲁棒且通用的单目视觉惯性系统...
点击上方"视觉部落",选择"星标"公众号精选作品,第一时间送达文章同步首发于知乎用户yikang专栏 Part 1. 基本信息本文提出了一种基于紧耦合滑动 ...
识别和追踪主题层次的影响力者(来自2018 Machine Learning 论文学习笔记)
本文作者:合肥工业大学管理学院钱洋 email:1563178220@qq.com . 以下内容是个人的论文阅读笔记,内容可能有不到之处,欢迎交流. 未经本人允许禁止转载. 文章目录论文来源论 ...
High Performance Visual Tracking with Siamese Region Proposal Network 论文学习
文章目录论文阅读总结 Translation Abstract 1 Introduction 2 Related Works 2.1 Trackers based on Siamese networ ...
[论文学习]TDN: An Integrated Representation Learning Model of Knowledge Graphs
[论文学习以及翻译]TDN: An Integrated Representation Learning Model of Knowledge Graphs 文章主要内容摘要前言相关工作基于T ...
论文学习-Stochastic Sparse Subspace Clustering
论文学习-Stochastic Sparse Subspace Clustering Note Stochastic Sparse Subspace Clustering,随机稀疏子空间聚类论文精读. ...
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning
论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning NDSS 2021录用文章目录论文学习笔记 POSEID ...
## 论文学习—用一个可接受的的剪枝策略来加速动态时间规整聚类的算法
论文学习-用一个可接受的的剪枝策略来加速动态时间规整聚类的算法 "Accelerating Dynamic Time Warping Clustering with a Novel Admi ...
【论文学习笔记-2】高分辨率3D深度重建
[论文学习笔记-2] 高分辨率3D深度重建背景介绍模型目标 Related Works 背景介绍应用场景广泛:桥,电缆etc 高分辨率图像的特点:像素多,potential disparity ...

Resnext论文学习