低秩近似分解卷积以及超强激活函数
论文地址：https://arxiv.org/abs/2011.12289
论文提出应对极低计算量场景的轻量级网络MicroNet，包含两个核心思路Micro-Factorized convolution和Dynamic Shift-Max，

1.Design Principles

要想实现低FLOPs，主要是要限制网络宽度（通道数）和网络深度（网络层数）。

如果把一个卷积层抽象为一个图，那么该层输入和输出中间的连接边，可以用卷积核的参数量来衡量。
因此作者定义了卷积层连通性（connectivity）的概念，即每个输出节点所连接的边数。
因此，连接数等于输出通道数和连通性的乘积。

如果我们把一个卷积层的计算量设为固定值，那么更多的网络通道数就意味着更低的连通性（比如深度可分离卷积，具有较多的通道数但是有很弱的连通性）。

作者认为平衡好通道数目和连通性之间的关系，避免减少通道数，可以有效地提升网络的容量。除此之外，当网络的深度（层数）大大减少时，其非线性性质会受到限制，从而导致明显的性能下降。因此，作者提出以下两个设计原则：

通过降低节点连接性来避免网络宽度的减小
作者是通过分解points-wise卷积以及depth-wise卷积来实现如上原则。

增强每一层的非线性性质来弥补网络深度减少所带来的损失
作者是通过设计了一个全新的激活函数来实现如上原则，称为Dynamic Shift-Max

Micro-Factorized convolution 通过低秩近似保持输入输出的连接性并降低连接数,对pointwise convolution和depthwise convolution进行低秩近似。

Dynamic Shift-Max通过动态的组间特征融合增加节点的连接以及提升非线性，弥补网络深度减少带来的性能降低。从实验结果来看，，仅需要6M MAdds就可以达到53.0%准确率，比12M MAdds的MobileNetV3还要高。

Micro-Factorized Pointwise Convolution

ref
https://zhuanlan.zhihu.com/p/337107958
https://www.tuicool.com/articles/BJJbqeE

【目标检测】|MicroNet相关推荐

微调torchvision 0.3的目标检测模型
微调torchvision 0.3的目标检测模型本文将微调在 Penn-Fudan 数据库中对行人检测和分割的已预先训练的 Mask R-CNN 模型.它包含170个图像和345个行人实例,说明如何 ...
部署可扩展的目标检测管道：推理过程（下）
部署可扩展的目标检测管道:推理过程(下) 融合感兴趣的目标可以被遮挡.有时只能看到目标的一小部分(少至几个像素). • 图19.车辆和交通信号灯被遮挡. • 图20:阻塞了总线. • 图21:左侧的 ...
目标检测推理部署：优化和部署
目标检测推理部署:优化和部署本文简要介绍了端对端推理管道的优化技术和部署. 将在以下三个方面研究推理优化过程:硬件优化,软件优化和模型优化.推理优化的关键指标如下: • 吞吐量(未推理图像/秒) • ...
部署可扩展的目标检测管道：推理过程（上）
部署可扩展的目标检测管道:推理过程(上) 基于YOLOv3的目标检测推理过程的所有代码都可以在eriklindernoren/PyTorch-YOLOv3 GitHub repo找到. 为了进行审查, ...
大数据目标检测推理管道部署
大数据目标检测推理管道部署本文提供了一个用于对象检测的深度学习推理的概述. 自主车辆软件开发需要大规模的数据.计算和算法创新,这些都是gpu实现的.一组神经网络构成了感知和决策系统的基础.神经网络的 ...
GPU端到端目标检测YOLOV3全过程（下）
GPU端到端目标检测YOLOV3全过程(下) Ubuntu18.04系统下最新版GPU环境配置 · 安装显卡驱动 · 安装Cuda 10.0 · 安装cuDNN 1.安装显卡驱动 (1)这里采用的是P ...
GPU端到端目标检测YOLOV3全过程（上）
GPU端到端目标检测YOLOV3全过程(上) Basic Parameters: Video: mp4, webM, avi Picture: jpg, png, gif, bmp Text: doc ...
Mask R-CNN用于目标检测和分割代码实现
Mask R-CNN用于目标检测和分割代码实现 Mask R-CNN for object detection and instance segmentation on Keras and Tenso ...
目标检测数据集The Object Detection Dataset
目标检测数据集The Object Detection Dataset 在目标检测领域,没有像MNIST或Fashion MNIST这样的小数据集.为了快速测试模型,我们将组装一个小数据集.首先,我们 ...
多尺度目标检测 Multiscale Object Detection
多尺度目标检测 Multiscale Object Detection 我们在输入图像的每个像素上生成多个锚框.这些定位框用于对输入图像的不同区域进行采样.但是,如果锚定框是以图像的每个像素为中心生成 ...

【目标检测】|MicroNet

1.Design Principles

Micro-Factorized Pointwise Convolution

【目标检测】|MicroNet相关推荐

最新文章

热门文章