dropout与快问快答

这里的代码比较简单哈我就不粘贴了。

如果更改第一层和第二层的暂退法概率，会发生什么情况？具体地说，如果交换这两个层，会发生什么情况？设计一个实验来回答这些问题，定量描述你的结果，并总结定性的结论。
以两个隐藏层为栗子：dropout为0.2 ,0.5

dropout为0 ，0
三层隐藏层后，dropout为0， 0

dropout为0.2, 0.5

可以看出加入一个全连接层效果反而不好。训练集的精度大大降低。
可以看出我们的训练精度是变高的和我们的损失函数低了一点。这也是应该的，因为dropout本质上就是正则化的过程，当然拟合训练集会好一点。
增加训练轮数，并将使用暂退法和不使用暂退法时获得的结果进行比较。
不用肯定对训练好，但是对测试不太好
当应用或不应用暂退法时，每个隐藏层中激活值的方差是多少？绘制一个曲线图，以显示这两个模型的每个隐藏层中激活值的方差是如何随时间变化的。
为什么在测试时通常不使用暂退法？
正则化是为了增加模型的鲁棒性的。
以本节中的模型为例，比较使用暂退法和权重衰减的效果。如果同时使用暂退法和权重衰减，会发生什么情况？结果是累加的吗？收益是否减少（或者说更糟）？它们互相抵消了吗？
反而更差
如果我们将暂退法应用到权重矩阵的各个权重，而不是激活值，会发生什么？
发明另一种用于在每一层注入随机噪声的技术，该技术不同于标准的暂退法技术。尝试开发一种在Fashion-MNIST数据集（对于固定架构）上性能优于暂退法的方法。

Q&A:

1.dropout随即丢弃，如何保证结果的正确性和可重复性

机器学习只有效果好，没有正确性哈哈哈。可重复性在神经网络中可重复性本身就是很难得事情

2.dropout不光可以丢弃正则化，包括wight，b等等等。

3.dropout只对全连接有用，权重衰退在后面的卷积层等等都可以用

4.dropout会让收敛变慢的，lr是对期望和方差敏感

dropout与快问快答相关推荐

mysql数据库索引页号为什么从3开始_MySQL数据库快问快答
原标题:MySQL数据库快问快答前言今天楼主给大家列一下关于数据库几个常见问题的要点,如果大家对其中的问题感兴趣,可以自行扩展研究. 1. UNION ALL 与 UNION 的区别 UNION和 ...
Coremail归档系统2020快问快答
在了解了邮件归档和邮件备份的区别之后,就有不少小伙伴在后台询问Coremail是否有配套的归档系统,具有又是怎么应用的?为了满足小伙伴们的求知欲,小编特意邀请喵教授对Coremail归档系统2020进 ...
Java面试题36题快问快答
六六大顺,快问快答Java面试36问!我们从面试来反推Java学习. 少侠,少侠,今天我们来看Java面试题,从大厂梦反推基础学习. 面试题: JDK 和 JRE 有什么区别? final 在 jav ...
Flutter widgets 快问快答 | 第一期
想打造精彩的 Flutter 应用,离不开对各种 widget 的熟练使用.Flutter widget 短视频系列已经在 B 站连载一段时间了,这里我们为大家带来近期观看最多的三个 widget 的 ...
快问快答JS面向对象面试题
1.说说你对闭包的理解使用闭包主要是为了设计私有的方法和变量.闭包的优点是可以避免全局变量的污染,缺点是闭包会常驻内存,会增大内存使用量,使用不当很容易造成内存泄露.在js中,函数即闭包,只有函数才 ...
陆奇博士演讲+现场创业快问快答，杭州、苏州、上海、深圳、武汉
陆奇博士演讲+现场创业快问快答,杭州.苏州.上海.深圳.武汉各位亲爱的创业者,奇绩创坛合伙人团队将会携手创业营往期校友,在北京.上海.深圳.苏州.杭州.武汉举办八场大型创业者见面会. 陆奇博士会为大 ...
java什么时候用list_Java快问快答：用 ArrayList 还是 LinkedList？
问题: 通常我会这么定义列表: List names = new ArrayList<>() names类型使用List接口,那么具体实现该如何选择. 什么时候应该用LinkedList替 ...
C++面试八股文快问快答のSTL篇
文章目录 STL篇 vector的底层原理(此题本人踩坑,需重视) vector中的reserve和resize的区别 vector中的size和capacity的区别 vector中erase方法与 ...
C++面试八股文快问快答の基础篇
文章目录基础篇变量的声明和定义有什么区别简述#ifdef.#else.#endif和#ifndef的作用写出int .bool. float .指针变量与 "零值"比较的i ...

dropout与快问快答

dropout与快问快答相关推荐

最新文章

热门文章