论文阅读 | 轻量级网络 MobileNets/Xception/ShuffleNet
前言：重温经典，整理了一些几年前做轻量级网络的论文，其中的深度可分离卷积和通道shuffle的思想至今也在沿用
（这几天都没看论文然而实验还是没跑出来，不卷会议了，开始摆烂…）
论文地址：
MobileNets【here】
Xception【here】
ShuffleNet【here】
深度可分离卷积（MobileNets/Xception）
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
MobileNets放在之前将，是我觉得MobileNets将深度可分离卷积的原理阐释得更清楚一些，Xception更多的是从inception系列的发展来展开的
首先深度可分离卷积的图示
这个图很生动形象的解释了什么是深度可分离卷积，即把一个有着空间大小（3*3）和特征维度（c_in）的卷积核，拆成一个单位空间上的特征维度的卷积pointwise convolution 和每个单位特征层上的有着空间大小的卷积depthwise convolution
一个深度可分离卷积包括下图右边的部分
深度可分离卷积与普通卷积的计算量和参数量对比
普通卷积的卷积核大小
在一个Df * Df的图上的卷积计算量
深度可分离卷积卷积核大小
计算量
计算量的比较
两个超参数
第一个超参数是网络的宽度（这里作者不调深度而是调宽度是因为实验证明差不多参数量和计算量的情况下，更窄的网络比更浅的网络性能会好一点）
第二个超参数是输入图像的分辨率，通过减小输入图像的分辨率可以减小网络的运算量
Xception: Deep Learning with Depthwise Separable Convolutions
首先inception系列的思想是用pointwise卷积把特征映射到不同区域，再分别对它进行分不同卷积操作，最后融合特征
比如经典inception v3
简化后其实可以看做（把AVGpooling 那一支去掉）
而这个简化后的版本，有可以看做用一个很大的pointwise卷积，将特征维扩展到原来的3倍，划分到不同区域，再在不同区域用3 * 3conv,这和简化版本inception是等价的
最后，可以把这个简化版本Inception极端化，即每一个特征通道就是一个区域。因此就有了Xception的Idea
这里作者指出，极端化后的inception和深度可分离卷积的区别有两点，第一点是深度可分离卷积是先进行depthwise卷积再进行pointwise卷积，但是极端的inception则反过来（作者认为这个区别不大）
第二点则是，深度可分离卷积每层后加Relu激活函数，但是极端版本不需要relu，作者也做实验分析了，加激活函数的效果
对比Inception中的中间激活层起的作用，作者给出的解释是，对于浅层卷积，比如只有一个通道的depthwise卷积，加了激活可能会损害性能
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile
在原有的深度可分离卷积的基础上还有优化空间，即对于特征维过于宽的情况，pointwise卷积显得并没有那么高效
因此可以继续对pointwise卷积进行分组，
分组后的参数量和计算量的变化（引用来自博文）
但是对通道分组后，组与组之间就不相关了
因此进行一次channelshuffle
所以，shufflenet 的设计改变可以由下图所示，Pointwise分组卷积+channelshffle+3 * 3 depthwise conv +Pointwise分组卷积
最后作者做实验证明了shuffleNet设计后有性能提升
注意，这里并不是对同样的网络，加group和不加group的性能比较，而是对于加了group和channel shuffle后再加宽网络，保持差不多的网络参数量进行的比较
总结
深度可分离卷积证实了，空间和通道分开卷积一定程度上平衡好了性能和效率，对于3D时空任务而言，能不能实现空间和时间维的分开卷积呢？待我查查相关资料再回来看这个问题
论文阅读 | 轻量级网络 MobileNets/Xception/ShuffleNet相关推荐
- （四十七）论文阅读 | 轻量级网络之MobileNetV3
简介 图1:论文原文 该论文基于神经架构搜索技术提出下一代轻量级网络结构, M o b i l e N e t V 3 {\rm MobileNetV3} MobileNetV3,实验结果表明该模型在 ...
- 深度学习-视频行为识别：论文阅读——双流网络（Two-stream convolutional networks for action recognition in videos）
这里写目录标题 视频的行为识别 前言 背景 内容组成 主要贡献 算法介绍 网络结构 双流(two stream)网络结构 空间流卷积网络(Spatial stream ConvNet) 时间流卷积网络 ...
- 【论文】轻量级网络squeezenet论文的详细翻译
前言: 整体上翻译了squeezenet:AlexNet-level accuracy with 50X fewer paramenters and 0.5MB model size.这篇论文,便于英 ...
- 【深度学习】轻量级网络
综述 2016年提出了三个非常重要的轻量级网络: Xception MobileNet ShuffleNet 均采用了 depth-wise卷积 ,极大地减少了参数和计算量. 为了实现通道间的信息交互 ...
- 轻量级网络--ShuffleNet论文解读
ShuffleNet ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 原文地址: ...
- 论文阅读：基于区块链的一个车联网轻量级安全V2V通信特点：利用无线网络传输在V2V通信中的信道特性，生成特殊的LF(链路指纹)用于标识每个信道，区块链技术用于生成区块
论文阅读:基于区块链的一个车联网轻量级安全V2V通信特点:利用无线网络传输在V2V通信中的信道特性,生成特殊的LF(链路指纹)用于标识每个信道,区块链技术用于生成区块. 系统模型: 汽车使用MICAz ...
- ShuffleNet论文阅读笔记
目录 论文信息: 摘要: 网络结构: 网络架构: 实验结果: 论文信息: 链接:ShuffleNet: An Extremely Efficient Convolutional Neural Netw ...
- BiSeNet:用于实时语义分割的双边分割网络-7min精简论文阅读系列-Leon
BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation BiSeNet:用于实时语义分割的双边分割网络 ...
- [论文阅读] (17)CCS2019 针对PowerShell脚本的轻量级去混淆和语义感知攻击检测（经典）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
最新文章
- 读书：有趣 -- 酒鬼与圣徒
- Java中类、方法声明为静态的含义
- [Sensor]--BMI160-加速度计、陀螺仪传感器
- 代码生成技术--CodeDom VS T4
- DataInputStream与DataOutputStream类
- Musical Theme POJ - 1743（后缀数组+二分）
- 第3章 系统设计和架构设计【扩胸运动，有容乃大】
- Tomcat运行时报 cannot be cast to javax.servlet.Servlet
- jmeter无法启动的解决办法
- Mysql 查询某个字段最长的记录
- MFC可编辑CListCtrl
- 信息安全-终端安全-Windows安全配置
- Linux禁用搜狗输入法的简繁切换快捷键
- 软件工程网络15结对编程作业一（201521123019 罗登宇）
- App Tamer for mac常见问题
- J2EE中用到的英语单词
- 测试相机的软件叫什么,测年龄的app叫什么（测年龄的相机软件app）
- WPF实现纵向显示TabControl标题及标题字体样式
- 2016-HitCon-Pwn-house_of_orange学习(附赠FSOP基础知识)
- 送书 | 《从零开始学Selenium自动化测试》