一、引言

在机器学习以及优化组合问题中，最常用的方法就是梯度下降法。比如BP神经网络，多层感知器的神经元(units)越多，对应的权矩阵也就越大，每个权可视为一个自由度或者变量。我们知道自由度越高，变量越多，模型越复杂，模型的能力越强。但是模型能力越强，模型就越容易过拟合，对噪声太敏感。另一方面，使用梯度下降进行最优解搜寻时，多变量的误差曲面很像是连绵起伏的山峰一样，变量越多，山峰和山谷也越多，这就导致梯度下降法极容易陷入到局部的一个小山谷，而停止搜索。这就是常规的梯度下降法在解决多维度的优化问题中最常见的局部最优问题。究其原因是梯度下降法的搜索准则所致，按照梯度的负方向搜索，一味追求网络误差或能量函数的降低，使得搜索只具有“下山”的能力，而不具备“爬山”的能力。所谓“爬山”的能力，就是当搜索陷入局部最优时，还能具备一定的“翻山越岭”的能力，能够从局部最优中逃出来，继续搜索全局最优。如果为具有多个局部极小点的系统打一个形象的比喻。设想托盘上有一个凸凹不平的多维能量曲面，若在该曲面上放置一个小球，它在重力作用下，将滚入最邻近的一个低谷（局部最小点）而不能自拔。但该低谷不一定就是曲面上最低的那个低谷（全局最小点）。因此，局部极小问题只能通过改进算法来解决。一种可行的办法就是刚才所提到的让算法具有“爬山”的能力，同时还要保证当搜索进入全局最优时不会因为“爬山”而跑出全局最优的“山谷”。本文要讲解的随机神经网络：模拟退火(Simulated Annealing)与玻尔兹曼机(Boltzmann Machine)就是通过一定的概率保证搜索陷入局部最优时能够具有一定的“爬山

随机神经网络之玻尔兹曼机相关推荐

深度学习 --- 随机神经网络详解（玻尔兹曼机学习算法、运行算法）
BM网络的学习算法 (1) 学习过程通过有导师学习,BM网络可以对训练集中各模式的概率分布进行模拟,从而实现联想记忆．学习的目的是通过调整网络权值使训练集中的模式在网络状态中以相同的概率再现．学习 ...
六.随机神经网络Boltzmann（玻尔兹曼机）
Hopfield网络具有最优计算功能,然而网络只能严格按照能量函数递减方式演化,很难避免伪状态的出现,且权值容易陷入局部极小值,无法收敛于全局最优解. 如果反馈神经网络的迭代过程不是那么死板,可以在一 ...
神经网络（BP神经网络、RBF网络、模拟退火算法、HOPFIELD神经网络、Botzmann机）
神经网络学习.笔记神经网络发展多层前馈神经网络 RBF径向基函数网络 ART自适应谐振理论网络 SOM 自组织映射网络级联相关网络 Elman网络循环神经网络 Botzmann机(引入较多其他 ...
深度学习 --- 玻尔兹曼分布详解
上一节我们从Hopfield神经网络存在伪吸引子的问题出发,为了解决伪吸引子带来的问题,详细介绍了模拟退火算法,本节也是基础性的讲解,为了解决伪吸引子还需要引入另外一个重要概念即:玻尔兹曼分布.本篇将 ...
神经网络 | 玻尔兹曼机（附python源代码）
===================================================== github:https://github.com/MichaelBeechan CSDN: ...
随机地址生成器_随机连接神经网络性能超过人工设计！何恺明等人发布新研究...
选自arxiv 作者:Saining Xie.Alexander Kirillov.Ross Girshick.Kaiming He 机器之心编译随机连接的神经网络性能居然比人工设计的网络(ResN ...
干货丨机器学习研究者必知的八个神经网络架构（经典文章，值得收藏）
本文简述了机器学习核心结构的历史发展,并总结了研究者需要熟知的 8 个神经网络架构. 机器学习对于那些我们直接编程太过复杂的任务来说是必需的.有些任务很复杂,以至于人类不可能解决任务中所有的细 ...
机器学习研究者必知的八个神经网络架构
本文转自计算机视觉研究院本文简述了机器学习核心结构的历史发展,并总结了研究者需要熟知的 8 个神经网络架构. 我们为什么需要「机器学习」? 机器学习对于那些我们直接编程太过复杂的任务来说是必需的.有 ...
深度学习——人工神经网络再掀研究热潮
人工神经网络起源于上世纪40年代,到今天已经70年历史了.就像人的一生,经历了起起落落,有过辉煌,有过黯淡,有过嘈杂,有过冷清.总体说来,过去的20年中人工神经网络的研究不温不火,直到最近三五年,随着 ...

随机神经网络之玻尔兹曼机

一、引言

随机神经网络之玻尔兹曼机相关推荐

最新文章

热门文章