MobileNet轻量级网络

基于移动端（手机或者嵌入式平台）的深度卷积网络实现的研究是目前比较热的一个研究方向，也是很有意思的一件事；MobileNet网络是谷歌的研究团队有针对的开发的轻量级、小型化的深度网络；可以使用在IOS或Android平台；

苹果的机器学习框架集成了目前主流的大多深度学习的应用，其中就有MobileNet的实现

https://github.com//likedan/Awesome-CoreML-Models；在Android的实现由基于TensFlow架构的MobileNet实现；

本文的主要内容是对Paper：MobileNets Efficient Convolutional Neural Networks for Mobile Vision Applications的翻译，要想在移动端使用好这个工具，就要对其架构有一定的了解：文章的核心思想就是对标准卷积的运算进行了改进，分为两步运算

以下内容转自：http://blog.csdn.net/wfei101/article/details/78310226

论文地址：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
民间实现：caffe | Tensorflow
官方代码：tensorflow/models

有tensorflow的实现： https://github.com/tensorflow/models/blob/master/slim/nets/mobilenet_v1.md

caffe也有人实现： https://github.com/shicai/MobileNet-Caffe,

前言

这篇论文是Google针对手机等嵌入式设备提出的一种轻量级的深层神经网络，取名为MobileNets。个人感觉论文所做工作偏向于模型压缩方面，核心思想就是卷积核的巧妙分解，可以有效减少网络参数。~~可能由于刚发布，谷歌还没有放出官方代码（Tensorflow）~~，谷歌官方已经开源了这部分代码（2017.6.15），具体参见文中地址。另外，在Github上搜索“MolileNets”，可发现一些个人实现的代码，部分会提供训练好的模型。博主跑过其中的caffe模型，发现inference速度并没有怎么提升，看网上讨论，应该是caffe框架的问题，要想大幅提升速度，应该只能依赖Tensorflow框架了。

摘要

我们提供一类称为MobileNets的高效模型，用于移动和嵌入式视觉应用。 MobileNets是基于一个流线型的架构，它使用深度可分离的卷积来构建轻量级的深层神经网络。我们引入两个简单的全局超参数，在延迟度和准确度之间有效地进行平衡。这两个超参数允许模型构建者根据问题的约束条件，为其应用选择合适大小的模型。我们进行了资源和精度权衡的广泛实验，与ImageNet分类上的其他流行的网络模型相比，MobileNets表现出很强的性能。最后，我们展示了MobileNets在广泛的应用场景中的有效性，包括物体检测，细粒度分类，人脸属性和大规模地理定位。

直观上来看，这种分解在效果上确实是等价的。比如，把上图的代号化为实际的数字，输入图片维度是11 × 11 × 3，标准卷积为3 × 3 × 3 ×16（假设stride为2，padding为1），那么可以得到输出为6 × 6 × 16的输出结果。现在输入图片不变，先通过一个维度是3 × 3 × 1 × 3的深度卷积（输入是3通道，这里有3个卷积核，对应着进行计算，理解成for循环），得到6 × 6 × 3的中间输出，然后再通过一个维度是1 × 1 × 3 ×16的1 ×1卷积，同样得到输出为6 × 6 × 16。以上解析还可以借助一幅经典的GIF图来理解，先放这里了。

接下来作者计算了这种分解可以多大程度上减少参数量。这里首先指出论文中存在的一处笔误，下图标注部分写错了，正确应为 DG×DG×N 。

首先是标准卷积，假定输入F的维度是 DF×DF×M ，经过标准卷积核K得到输出G的维度 DG×DG×N ，卷积核参数量表示为 DK×DK×M×N 。如果计算代价也用数量表示，应该为 DK×DK×M×N×DF×DF 。

现在将卷积核进行分解，那么按照上述计算公式，可得深度卷积的计算代价为 DK×DK×M×DF×DF ，点卷积的计算代价为 M×N×DF×DF 。

将二者进行比较，可得:

MobileNets使用了大量的3 × 3的卷积核，极大地减少了计算量（1/8到1/9之间），同时准确率下降的很少，相比其他的方法确有优势。

MobileNet轻量级网络相关推荐

轻量级网络——MobileNet系列学习（理论篇）
目录一.MobileNetV1 1.1 Depthwise separable convolution(深度级可分离卷积) 参数对比 1.2 MobileNet网络结构 1.3 MobileNet网 ...
检测、分割用什么轻量级网络呢？
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达由于深度学习的关系,计算机视觉领域发展迅速,各大榜单精度刷的很高, ...
14种轻量级网络综述 — 主干网络篇
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨VincentLee 来源丨晓飞的算法工程笔记编辑丨极市平台导读早期的卷积神经很少考虑参数 ...
MobileNetV1/V2/V3简述 | 轻量级网络
MobileNet系列很重要的轻量级网络家族,出自谷歌,MobileNetV1使用深度可分离卷积来构建轻量级网络,MobileNetV2提出创新的inverted residual with line ...
轻量级网络 - PVANet SuffleNet
一. PVANet 论文:PVANET: Deep but Lightweight Neural Networks for Real-time Object Detection [点击下载] C ...
轻量级网络综述 — 主干网络篇
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达轻量级网络的核心是在尽量保持精度的前提下,从体积和速度两方面对网络进行轻量化改造,本文对轻量级网络进 ...
轻量级网络--ShuffleNet论文解读
ShuffleNet ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 原文地址: ...
『高性能模型』轻量级网络梳理
墙裂推荐:那些Network能work的本质究竟是啥? SqueezeNet 轻量化网络:SqueezeNet 2017年的文章,和后面的几篇文章一对比思路显得比较老套:大量的1*1的卷积和少量的3* ...
轻量级网络——ShuffleNetV1
文章目录 1.ShuffleNetV1的介绍 2.ShuffleNetV1的结构 1)Channel Shuffle操作 2)ShuffleNet基本单元 3.ShuffleNetV1的性能统计 4. ...

MobileNet轻量级网络

摘要

引言和背景介绍

MobileNets模型结构

深度可分解卷积

模型结构和训练

宽度乘数

分辨率乘数

实验分析

模型选择

模型收缩超参数

目标检测

MobileNet轻量级网络相关推荐

最新文章

热门文章