经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors

2024-06-20 02:03:33

学习笔记，仅供参考，有错必纠

文章目录

Improving neural networks by preventing co-adaptation of feature detectors
- Abstract
- 实验阐述

Improving neural networks by preventing co-adaptation of feature detectors

Abstract

一个大型前馈神经网络在一个样本量较少的数据集中可能会出现训练集结果非常好，测试集结果较差的情况，这就是出现了【过拟合】. 通过随机的将特征检测器(隐藏层神经元)丢弃(dropout)，可以减缓过拟合的情况.

实验阐述

使用dropout的神经网络模型，由于每次训练会随机丢弃一些隐藏层神经元，所以每次训练的模型都是不同的. 最终得到的网络结构(测试集中使用的结构)，是训练时所有子网络的权值共享后的结果.

在MNIST数据集中进行实验，可以使用很多技巧提高模型性能. 当我们不使用已有的技巧时，在测试集中，最好的结果是160个错误. 当使用50%的dropout对隐藏层进行修正时，错误数降低到了130个，在数据的输入层再增加20%的dropout时，错误会进一步减少到110.

使用dropout对原始模型进行预训练，则错误数可以降低到118，如果再使用50%的dropout对隐藏层进行修正，则错误数可以降低到92.

使用各个模型在MNIST数据集上进行实验，可以发现dropout对模型有不错的提升.

在语音识别数据集TIMIT中，对各个模型进行比较，发现加入dropout的模型有更好的性能.

在CIFAR-10数据集中进行实验，原始的模型结果为16.6%，但是通过dropout方法之后，模型的结果提高到15.4%.

在ImageNet数据集中进行实验，原始的模型结果为48.6%，但是通过dropout方法之后，模型的结果提高到42.4%.

经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors相关推荐

【论文笔记】Improving neural networks by preventing co-adaptation of feature detectors
多伦多大学计算机科学系12年的一篇文章,大量实验讨论了dropout的效果和直观解释了为什么dropout这么强大. 为什么强大?主要是参数独立训练,大量网络共享参数但是相当于独立训练出来的,参数之间 ...
论文阅读（Improving neural networks by preventing co-adaptation of feature detectors ）
显然看不懂英文然后出于各种原因最终被迫搜索了翻译版本,如有错误欢迎指出介绍主体: DropOut 目的: 对战过拟合的基础上提升速度和学习能力(力速双A✔) 思路: 通过在每个训练案例上随机省略一般 ...
文献阅读：Improving neural networks by preventing co-adaptation of feature detectors
文献阅读:Improving neural networks by preventing co-adaptation of feature detectors ----通过防止特征检测器的共适应以改进 ...
Improving neural networks by preventing co-adaptation of feature detectors
一.文献名字和作者 Improving neural networks by preventing co-adaptation of feature detectors, G. E. Hint ...
经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠文章目录 ImageNet Classification with Deep Convolutional Neural Networks 摘要 Introduction ...
经典DL论文研读(part2)--Deep Sparse Rectifier Neural Networks
学习笔记,仅供参考,有错必纠文章目录 Deep Sparse Rectifier Neural Networks Abstract Introduction Background Deep Rect ...
经典DL论文研读(part1)--Understanding the difficulty of training deep feedforward neural networks
学习笔记,仅供参考,有错必纠文章目录 Understanding the difficulty of training deep feedforward neural networks Abstra ...
论文笔记 | Improving neural networks by preventing co-adaptation of feature detectors
Authors G. E. Hinton , N. Srivastava, A. Krizhevsky, I. Sutskever and R. R. Salakhutdinov Hinton Abs ...
【精读AI论文】dropout----(Improving neural networks by preventing co-adaptation of feature detectors)
文章目录前言第一页: 第一段: 第二段: 第二页第一段第二段第三段第3-6页思考与总结 dropout丢弃的是权重还是输出? dropout的正确性以及随机丢弃对结果的影响? dropo ...

最新文章

热门文章