Improved Regularization of Convolutional Neural Networks with Cutout

摘要

CNN具有非常强大的能力，然而，由于它的学习能力非常强，有时会导致过拟合现象的出现。为了解决这个问题，文章提出了一种简单的正则化方法：cutout。

它的原理是在训练时随机地屏蔽输入图像中的方形区域。它不仅容易实现，且实验证明，它能够与其它的数据增强方法一起作用，来提高模型的表现。

介绍

近些年深度学习在许多有挑战性的领域中，如目标识别、语义分割、图像描述和人类姿态评估等做出了很好的表现。而这些表现的主要贡献者就是CNN。但随着需要解决的问题的复杂性上升，CNN模型所需的资源也随之上升，且过于强大的能力也常常会导致过拟合现象的出现，并降低模型的泛用性。

为了解决这个问题，人们提出了很多不同的方法：向数据、参数、激活层审慎地加入噪音；简单且有效的数据增强方法，如水平翻转和cropping。其中一个常用的方法是dropout：它在训练时随机地丢弃一些神经元的激活层，以降低特征检测时的协同适应。

本文提出的方法类似于dropout，但有两个主要的区别：1、它丢弃的是输入图像的数据。2、它丢弃的是一整块区域，而不是单个神经元。这能够有效地帮助CNN关注不同的特征，因为去除一个区域的神经元可以很好地防止被去除的神经元信息通过其它渠道向下传递。

同时，dropout由于1、卷积层拥有相较于全连接层更少的参数，因此正则化的效果相对欠佳；2、图像的相邻元素有着很强的相关性的原因，在卷积层的效果不好。而cutout因为去除了一块区域的神经元，且它相比更接近于数据增强。因此在卷积层的效果要相对更好。

cutout提出的最初动机来源于机器视觉的一个常见的问题：目标遮挡。开始时它的思想有些接近于max drop：在每个epoch时提取并存储被激活得最多的特征，并在接下来的epoch中将其用一个特征图的均值掩膜覆盖。这样做的效果很好，但后来经过研究发现，随机擦除一个固定大小的区域的图像取得的效果和它一样好。由于后者更为简单些，因此作者最终采取了这种做法。

实现细节

作者发现，比起形状，cutout区域的大小更为重要。因此为了简化，他们选择了方形，且如果允许cutout区域延伸到图像外，效果反而会更好。

Improved Regularization of Convolutional Neural Networks with Cutout相关推荐

CV：翻译并解读2019《A Survey of the Recent Architectures of Deep Convolutional Neural Networks》第一章~第三章
CV:翻译并解读2019<A Survey of the Recent Architectures of Deep Convolutional Neural Networks>第一章~第三 ...
DEEPCON: protein contact prediction using dilated convolutional neural networks with dropout
今天真的要开始正式进入科研状态了,之前一直都进入失败,咳!那就先来看一篇相关领域的论文吧 ---------------------------------------------- 题目:DEEPC ...
《每日论文》ImageNet Classification with Deep Convolutional Neural Networks
这篇论文是剖析 CNN 领域的经典之作,也是入门 CNN 的必读论文.作者训练了一个面向数量为 1.2 百万的高分辨率的图像数据集 ImageNet, 图像的种类为 1000 种的深度卷积神经网络. ...
AlexNet论文翻译（中英文对照版）-ImageNet Classification with Deep Convolutional Neural Networks
图像分类经典论文翻译汇总:[翻译汇总] 翻译pdf文件下载:[下载地址] 此版为中英文对照版,纯中文版请稳步:[AlexNet纯中文版] ImageNet Classification with De ...
论文研读 —— 6. ImageNet Classification with Deep Convolutional Neural Networks (1/3)
文章目录 Authors and Publishment Authors Bibtex Abstract 1. Introduction 2. The Dataset Authors and Publ ...
ImageNet Classification with Deep Convolutional Neural Networks论文翻译——中英文对照
文章作者:Tyan 博客:noahsnail.com | CSDN | 简书翻译论文汇总:https://github.com/SnailTyan/deep-learning-papers- ...
回顾一些重要的CNN改进模型（你真的了解 Convolutional Neural Networks 么）
转载自: 干货 | 你真的了解 Convolutional Neural Networks 么 https://mp.weixin.qq.com/s?__biz=MzAwMjM3MTc5OA==&am ...
干货 | 你真的了解 Convolutional Neural Networks 么
干货 | 你真的了解 Convolutional Neural Networks 么原创2016-01-11小S程序媛的日常程序媛的日常首先,先感谢大家支持我们周六推送的第一次线下活动:程序媛们一 ...
(zhuan) Building Convolutional Neural Networks with Tensorflow
Ahmet Taspinar Home About Contact Building Convolutional Neural Networks with Tensorflow Posted on a ...

Improved Regularization of Convolutional Neural Networks with Cutout

摘要

介绍

实现细节

Improved Regularization of Convolutional Neural Networks with Cutout相关推荐

最新文章

热门文章