Unsupervised pre-training

如图所示：

假设你想要解决一个复杂的任务，你没有太多的标记的训练数据，但不幸的是，你不能找到一个类似的任务训练模型。不要失去所有希望！首先，你当然应该尝试收集更多的有标签的训练数据，但是如果这太难或太昂贵，你仍然可以进行无监督的训练（见图 11-5）。也就是说，如果你有很多未标记的训练数据，你可以尝试逐层训练层，从最低层开始，然后上升，使用无监督的特征检测算法，如限制玻尔兹曼机（RBM；见附录 E）或自动编码器（见第 15 章）。每个层都被训练成先前训练过的层的输出（除了被训练的层之外的所有层都被冻结）。一旦所有层都以这种方式进行了训练，就可以使用监督式学习（即反向传播）对网络进行微调。

这是一个相当漫长而乏味的过程，但通常运作良好。实际上，这是 Geoffrey Hinton 和他的团队在 2006 年使用的技术，导致了神经网络的复兴和深度学习的成功。直到 2010 年，无监督预训练（通常使用 RBM）是深度网络的标准，只有在梯度消失问题得到缓解之后，纯训练 DNN 才更为普遍。然而，当您有一个复杂的任务需要解决时，无监督训练（现在通常使用自动编码器而不是 RBM）仍然是一个很好的选择，没有类似的模型可以重复使用，而且标记的训练数据很少，但是大量的未标记的训练数据。（另一个选择是提出一个监督的任务，您可以轻松地收集大量标记的训练数据，然后使用迁移学习，如前所述。例如，如果要训练一个模型来识别图片中的朋友，你可以在互联网上下载数百万张脸并训练一个分类器来检测两张脸是否相同，然后使用此分类器将新图片与你朋友的每张照片做比较。）

转载于:https://www.cnblogs.com/sddai/p/10512207.html

Unsupervised pre-training相关推荐

不同的神经网络训练函数training function的比较
这里写链接内容 1.traingd:批梯度下降训练函数,沿网络性能参数的负梯度方向调整网络的权值和阈值. 2.traingdm:动量批梯度下降函数,也是一种批处理的前馈神经网络训练方法,不但具有更快的 ...
这三个普通程序员，几个月就成功转型AI，他们的经验是...
动辄50万的毕业生年薪,动辄100万起步价的海归AI高级人才,普通员到底应不应该转型AI工程师,普通程序员到底应该如何转型AI工程师? 以下,AI科技大本营精选了三个特别典型的普通程序员成功转型AI的 ...
普通程序员，几个月如何成功转型AI？
动辄50万的毕业生年薪,动辄100万起步价的海归AI高级人才,普通员到底应不应该转型AI工程师,普通程序员到底应该如何转型AI工程师? 以下,精选了三个特别典型的普通程序员成功转型AI的案例,也是知乎 ...
各种编程语言的深度学习库整理（中英版）
本文总结了Python.Matlab.CPP.Java.JavaScript.Lua.Julia.Lisp.Haskell..NET.R等语言的深度学习库,赶紧收藏吧! Python 1. Thean ...
格式化数据#4：有关机器学习的SDK/Lib/API
最新版本请见:http://lore.chuci.info/taurenshaman/json/0e06eb9c41cb45489ad651684c1487e4 {"title": ...
为什么无监督的预训练可以帮助深度学习
本篇文章主要是review Dumitru Erhan∗,Yoshua Bengio,Aaron Courville,Pierre-Antoine Manzagol 在2010年发表的<why ...
深度学习在控制领域的研究现状与展望
深度学习在控制领域的研究现状与展望摘要深度学习在控制领域的研究现状与展望摘要深度学习在特征提取与模型拟合方面显示了其潜力和优势.对于存在高维数据的控制系统,引入深度学习具有一定的意义.近年来, ...
自然语言处理学习——基于对比自监督学习的语言模型设计和改进*
基于对比自监督学习的语言模型设计和改进* 摘要:最近几年见证了自然语言处理特别是表示学习的预训练模型的蓬勃发展,基于对比学习的自监督模型是其中最火的一种.BERT是近几年来在多种语言处理任务上取得了突 ...
机器学习笔记(五)神经网络
5.神经网络 5.1神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应.对这句话的理解,简单提要下,主角是简单单元(输入单 ...
AI人工智能 / ML机器学习专业词汇集
部分转自AI人工智能专业词汇集目录 Letter A Letter B Letter C Letter D Letter E Letter F Letter G Letter H Letter I ...

Unsupervised pre-training

Unsupervised pre-training相关推荐

最新文章

热门文章