deep learning(深度学习)介绍

最近接触deep learning，看了一些论文，理论细节比如RBM等，还需要研究，先通过比较通俗的语言组织下。

deep learning 并非一种具体的机器学习model，而是一个框架，或者思路。dp用于特征学习，或者特征表示。

接触到的svn lg 等机器学习算法，都会有特征提取以及特征选择，这两个决定了模型的质量，靠谱的特征越多，模型的表达能力越强，但是特征抽取受限于使用模型的人以及刻画特征的能力。无论是文本分类，还是图片以图识图等，人能够理解图片/文本，很方便的进行分类等，但是无法提取出让计算机也能够明白特征，无法把自己的理解复制到计算机上面，这就是dp要解决的问题(当然不是万能的)：特征表示，从样本中，从样本数据中提取出来最能够表示样本的特征，最理想的是人理解意义上的特征。

和BP的区别：

BP神经网络也是干了这个事情，但是BP有大问题：

1.需要标注数据，这就制约训练，大多数数据是没有label的

2.训练时间长，多个隐层更为明显，我理解是bp是通过误差逆传播的方法来更新参数，层数多时，从输出到多个隐层，损失过大

3.过拟合/局部最优，这个貌似很多模型都有可能，不管

deep learning解决了上面问题，使用dp 分成了两个部分：

1.特征表示，top 的隐层为输入的特征，等价于人提取的特征，只不过这是自动提出的，收益在于一组模型参数W

2.问题模型：如果是分类，则提供一批lable数据，通过#1提出特征，将<特征，lable>作为输入，使用svm、logistic reg等模型，解决即可。

训练手段：

deep learning的重点在于如何快速的训练模型，bp是一次迭代，优化所有层参数，dp是每次训练一层，训练完毕后，该层的输出作为下一层的输入，依次训练。关键是从layer(i-1)到layer(i)采用什么样的模型进行刻画，sigmod，tan，BM等均可，不同的模型，参数求解的方法不同。

1.autoencoder/autodecoder, 顾名思义，把输入encode层输出，再把输出decode，原则上应该和输入完全一样，优化模型让其误差最小，layer(i-1)->layer(i)->layer(i-1)' , MIN(||layer(i-1)-layer(i-1)'||)

2.RBM，layer(i-1)->layer(i)->layer(i-1)'->layer(i)'

还有一些其他的，慢慢研究。

dp的目的是抽取特征，是特征表示，不是什么分类模型。

deep learning(深度学习)介绍相关推荐

Deep Learning | 深度学习介绍与基本概念
深度学习(Deep Learning) 深度学习是基于机器学习延伸出来的一个新的领域,由以人大脑结构为启发的神经网络算法为起源加之模型结构深度的增加发展,并伴随大数据和计算能力的提高而产生的一系列新的 ...
A Full Hardware Guide to Deep Learning深度学习电脑配置
python信用评分卡(附代码,博主录制) https://study.163.com/course/introduction.htm?courseId=1005214003&utm_camp ...
(转)Deep Learning深度学习相关入门文章汇摘
转自:http://farmingyard.diandian.com/post/2013-04-07/40049536511 摘: 应用实例计算机视觉. ImageNet Classificatio ...
Deep learning深度学习
深度学习的步骤与机器学习一致: 深度学习第一步里定义的函数,就是神经网络. 定义把多个逻辑回归前后连接在一起,然后把连接好的里面的一个逻辑回归成为神经元 ,整体称为神经网络. 我们可以用不同的方法连 ...
【李宏毅机器学习】Brief Introduction of Deep Learning 深度学习简介（p12）学习笔记
李宏毅机器学习学习笔记汇总课程链接 Deep Learning 文章目录 Deep Learning Deep Learning attracts lots of attention Ups and ...
deep learning 深度学习中英文版下载地址
度学习权威Yoshua Bengio和GAN之父Ian Goodfellow等人合著的DeepLearning经典教程<Deep Learning>.废话不多说,直接上链接. 中文版pdf ...
Nature:Deep Learning 深度学习综述
翻译:https://artificial-intelligence.net.cn/2019/06/05/1559711811/?from=singlemessage&isappinstall ...
台大李宏毅课程笔记3——New Optimization for Deep Learning深度学习新优化
台大李宏毅课程笔记3 SGD with Momentum(SGDM) RMSProp Adam SWATS AdaXXX Adam分析 AMSGrad AdaBound SGDM分析 Cyclical ...
Deep Learning 深度学习花书 Ian Goodfellow 伊恩·古德费洛
免责说明资源仅为学习参考,不可用于商业目的!版权归原作者所有,请在下载后于24小时内删除!谢谢! 链接: https://pan.baidu.com/s/1S8QMCTfgsMm3VYhtg3WcP ...

deep learning(深度学习)介绍

deep learning(深度学习)介绍相关推荐

最新文章

热门文章