【深度学习】Drop out

来源：Dropout: A Simple Way to Prevent Neural Networks from Overfitting

1. 原理

在每个训练批次的前向传播中，以概率p保留部分神经元。目的是：简化神经网络的复杂度，降低过拟合风险。

$\\Z_{l+1} = W\cdot A_{l} + b \\A_{l+1} = f(Z_{l+1}) \\\Rightarrow \\r_{l} \sim Bernoulli(p) \\ \~A_{l} = r_{l} * A_{l} \\Z_{l+1} = W\cdot \~A_{l} + b \\A_{l+1} = f(Z_{l+1})$

根据保留概率p计算一个概率向量r（[1,0,1,0,0,1,1....]）, 然后保留部分节点。

2. 注意点

因为dropout一般只使用在训练时，而测试时所有的神经元都会保留。为了使训练和测试时对应，可以有以下两种方法：

1）测试时：在每个神经元对应的权重w需乘以p，即 $w = p \~w$ 。（原理：训练时dropout后的期望： $p\cdot x + (1-p)0$ , 为了使测试时期望与之对应，需给w乘以p。）

2）inverted dropout, 训练时：将dropout后保留下来的神经元权重乘以1/p，称作惩罚项。这样训练时权重扩大，测试时不需要再乘以p以缩小。

3. 常用值

dropout一般取0.5.

【深度学习】Drop out相关推荐

22张精炼图笔记，深度学习专项学习必备
作者 | DL&CV_study9 编辑 | Elle 来源 | CSDN 博客本文为人工智能学习笔记记录. [深度学习基础篇] 一.深度学习基本概念监督学习:所有输入数据都有确定的对应输 ...
医生再添新助手！深度学习诊断传染病 | 完整代码+实操
作者 | Dipanjan (DJ) Sarkar 译者 | Monanfei 编辑 | Rachel.Jane 出品 | AI科技大本营(id:rgznai100) [导读]文本基于深度学习和迁移学 ...
【AI参赛经验】深度学习入门指南：从零开始TinyMind汉字书法识别——by：Link
各位人工智能爱好者,大家好! 由TinyMind发起的#第一届汉字书法识别挑战赛#正在火热进行中,比赛才开始3周,已有数只黑马冲进榜单.目前TOP54全部为90分以上!可谓竞争激烈,高手如林.不是比赛 ...
22张图全解深度学习知识，建议收藏
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达转载于:Sophia知乎 https://zhuanlan.zhih ...
【深度学习】正则化技术全面了解
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 1.简介正则化就是结构风险最小化策略的实现, 是在经验风险最小化 ...
22张深度学习精炼图笔记总结
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:机器学习算法那些小事最近在做笔记查阅内容,觉得这个总结 ...
一文看尽深度学习中的20种卷积（附源码整理和论文解读）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达引言卷积,是卷积神经网络中最重要的组件之一.不同的卷积结构有着不一样的功能,但本质上都是用于提取特征 ...
深度学习有哪些trick？
作者丨DOTA.永无止境.冯迁来源丨知乎问答编辑丨极市平台导读 Deep learning在训练的时候往往有很多trick,不可否认这些trick也是DL成功的关键因素之一,所谓"th ...
深度学习中的优化算法与实现
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 GiantPandaCV导语:这篇文章的内容主要是参考沐神的mxnet/gluon视频中,Aston ...
过拟合的原因以及解决办法（深度学习）
过拟合:模型在训练集上表现的非常好,但在测试集的数据下表现很差. 具体观察loss函数就是,train loss一直降低,而test loss先降低,而后随着epoach的增加,而不断增加. 这张图可 ...

【深度学习】Drop out

【深度学习】Drop out相关推荐

最新文章

热门文章