关于DBN fine-tunes使用BP多于up-down算法的一点看法
首先用Hinton先生的三句话作为引子，个人觉得这三句话在为什么首先使用pre-train会使最终效果特别好的解释中有点提纲挈领的意思。
– The input vectors generally contain a lot more information than the labels.
– The precious information in the labels is only used for the final fine-tuning.
– The fine-tuning only modifies the features slightly to get the category boundaries right. It does not need to discover features.
好吧，其实写这篇博客的原因就是为了记一下上面三句话。关于为啥不使用UP-DOWN算法，我觉得是你作为一个生成模型，当然可以使用UP-DOWN，这个算法本意就是用来训练生成模型的。但是为什么现在的大多数toolbox都是将网络pre train之后使用BP算法去微调呢，个人觉得生成模型最终用起来也是要作判别的。所以还不如直接使用判别模型去做分类，当模型被当成判别模型的时候使用BP算法。而且Hinton先生也分别使用过这两种算法做了对比，分别是在deep learning开篇的那篇论文中和他发在science上的那篇论文。一个使用了UP-DOWN，一个使用了BP。事实上，使用判别模型的分类效果更好，而UP-DOWN略差。
-------------------------------------------------------------------------------------------------------------------------------------------------------------------
个人理解，可能是漏洞百出或者根本就是错的。如果理解上有不对的地方，烦请指正。邮箱：heqingblind@sina.com
关于DBN fine-tunes使用BP多于up-down算法的一点看法相关推荐
- 神经网络训练中的Tricks之高效BP（反向传播算法）
神经网络训练中的Tricks之高效BP(反向传播算法) zouxy09@qq.com http://blog.csdn.net/zouxy09 Tricks!这是一个让人听了充满神秘和好奇的词.对于我 ...
- 转载：BP（反向传播算法）公式推导及例题解析
首发于 深度学习与我的那些事 写文章 BP(反向传播算法)公式推导及例题解析 WILL 深度学习搬砖者 关注他 297 人 赞同了该文章 写在前面:最近赶上<模式识别>课程考试,就把B ...
- 基于bp的神经网络算法,bp神经网络是什么算法
BP人工神经网络方法 (一)方法原理人工神经网络是由大量的类似人脑神经元的简单处理单元广泛地相互连接而成的复杂的网络系统.理论和实践表明,在信息处理方面,神经网络方法比传统模式识别方法更具有优势. 人 ...
- 基于蝙蝠算法优化BP神经网络的数据分类算法及其MATLAB实现-附代码
基于蝙蝠算法优化BP神经网络的数据分类算法及其MATLAB实现-附代码 文章目录 基于蝙蝠算法优化BP神经网络的数据分类算法及其MATLAB实现-附代码 1 蝙蝠算法与BP神经网络分类模型 1.1 蝙 ...
- 蚁群算法优化BP神经网络回归预测的算法设计-附代码
蚁群算法ACO优化BP神经网络回归预测的算法设计及其MATLAB代码实现 文章目录 蚁群算法ACO优化BP神经网络回归预测的算法设计及其MATLAB代码实现 1. 蚁群算法简介 2. 蚁群算法优化BP ...
- 鲸鱼优化算法优化BP神经网络回归预测的算法设计-附代码
鲸鱼优化算法WOA优化BP神经网络回归预测模型以及MATLAB代码实现 文章目录 鲸鱼优化算法WOA优化BP神经网络回归预测模型以及MATLAB代码实现 1. 算法描述 2. 鲸鱼优化算法优化BP神经 ...
- python实现bp神经网络预测,神经网络算法预测彩票
神经网络预测双色球有多靠谱 你好,这东西没人会预测.如果真会预测,早就成为百万富翁了.预测这东西我早就不信了,上一回在网站上,看别人预测,结果买了,连一个号码都没对上.楼主真要买,就权当是献爱心吧. ...
- 【DBN数据预测】基于matlab粒子群算法优化DBN数据预测【含Matlab源码 1420期】
⛄一.DBN算法简介 DBN是深度学习方法中的一种常用模型,是一种融合了深度学习与特征学习的神经网络.DBN网络结构是由若干层受限玻尔兹曼机(Restricted Boltzmann Machine, ...
- 人工神经网络——【BP】反向传播算法证明
第一步:前向传播 [注]此BP算法的证明仅限sigmoid激活函数情况.本博文讲道理是没错的,毕竟最后还利用代码还核对了一次理论证明结果. 关于更为严谨的BP证明,即严格通过上下标证明BP的博客请戳这 ...
最新文章
- 每天2亿美元投入AI领域，1/10砸向自动驾驶，中国AI论文首超全欧洲 ｜ 斯坦福全球AI年度报告...
- Vue—上手实践—快速入门
- spring-quartz
- 惊呆了！这篇论文全文都是脏话，可编辑部居然对它评价极佳并发表了！
- 编写一个项目开发文档
- CSS media queries
- Oracle EBS R12 电子技术参考手册 - eTRM (电子文档)
- Luogu1502 窗口的星星
- Win7安装Mysql8.0步骤
- linux中vim如何替换字符串,vim中替换字符串的方法有哪些
- G-Dezender批量解密
- Win7 您需要Trustedinstaller 提供的权限才能对此文件夹进行更改
- 1063: 最大公约与最小公倍
- 利用Python在网上接单，兼职也能月薪过万，真的假的？
- SOA面向服务体系的架构
- 江苏无锡14岁女孩被推荐上北大(图)
- js时间分割——主要用途——租赁合同时间计算（两种时间分割方式，可以按月，季，年分割）
- 服务器 系统 ghost,3.5.2 在服务器上用Ghost恢复系统包（1）
- 进入社会一周年的些许感悟和经历
- java台球击球角度,台球瞄准方法--角度的计算----转