人工神经网络(Artificial Neural Netwroks)笔记-粒子群优化(Partical Swarm Optimization

关于粒子群优化的内容可以通过搜索得到。
下面主要是个人对于粒子群优化的一点理解，以及应用于BP神经网络中做权重的调整
原文在： http://baike.baidu.com/view/1531379.htm
引用下面一些内容
===============我是引用的分界线=================
粒子根据如下的公式来更新自己的速度和新的位置
v[] = w * v[] + c1 * rand() * (pbest[] - present[]) + c2 * rand() * (gbest[] - present[])
present[] = persent[] + v[]
v[] 是粒子的速度, w是惯性权重,persent[] 是当前粒子的位置. pbest[] and gbest[] 如前定义 rand () 是介于（0， 1）之间的随机数. c1, c2 是学习因子. 通常 c1 = c2 = 2.
===============我是引用的分界线=================

一般用X表示粒子的位置，V表示粒子的速度
X和V都是向量，因此很容易地就会和BP神经网络的权重联想到一起。
在看PSO和BP神经网络如何结合起来使用的过程中，我一直比较疑惑的就是到底是让X代替权重，还是用V代替权重。或者是用X和V的乘积的。经过多方面的探讨，基本达成共识的就是用X代替权重。

因为一个粒子就代表了一组权重，如果只是利用一个粒子的话。。。那么gbest[]和pbest[]就没有多大的意义了，起码是只要一个就可以了。因此很多人就把粒子的数目做成10-30个之间。也就是这个结合PSO的BP神经网络有10-30组权重了。一般意义上的BP神经网络就只有一组权重而已。那么这种思想对于神经网络来说就是不只是依赖一组权重来进行最优解的搜索，而是利用多组权重来进行搜索。这样能跳出局部最小的机会已经大了很多了。非常不错的思想。不过计算量已经比一般的BP大很多了，起码变量已经比原来的多了。不过庆幸的是这些变量都是可控制的向量。需要调整的只是几个参数而已。

研究粒子群优化(Partical Swarm Optimization - PSO) 主要是因为之前做的BP神经网络在维度达到100多的时候很容易陷入局部最小，所以不得不考虑如何优化了。
本来想用模拟退火算法来做权重的调整的。但是看了粒子群优化(Partical Swarm Optimization - PSO) 之后觉得这种思想更优。到底是哪里更好了？呵呵。说不出。只是一种感性的理解罢了。

PS:
我毕竟不是学数学的，我毕竟不是读计算机的，神经网络里面包含的思想与理论很多时候都超出了我的理解。神经网络这么多年的发展，这么多前辈的努力成果，不是我等小辈能马上明白的。顿时感觉压力很大。但是当我对他产生了强烈的兴趣的时候，一种无形的力量驱动着我去不断地去求知。不为什么，只为我喜欢的，我就是想知道。^_^

2008.08.30 更新
        居然现在才搜索到一个系列的文章出来，看完之后更加肯定了我之前的理解了。
        有兴趣的朋友也去看看吧。
         粒子群算法研究

转载于:https://www.cnblogs.com/TtTiCk/archive/2008/08/28/1278523.html

人工神经网络(Artificial Neural Netwroks)笔记-粒子群优化(Partical Swarm Optimization - PSO)...相关推荐

人工神经网络(Artificial Neural Netwroks)笔记-消除样本顺序的BP算法
人工神经网络(Artificial Neural Netwroks)笔记-基本BP算法上文中已经提到"基础BP算法"偏爱"较后出现的样本,因此较后出现的样本对网络影响较 ...
粒子群算法Particle Swarm Optimization超详细解析+代码实例讲解
01 算法起源粒子群优化算法(PSO)是一种进化计算技术(evolutionary computation),1995 年由Eberhart 博士和kennedy 博士提出,源于对鸟群捕食的行为研究 ...
智能算法系列之粒子群优化算法
本博客封面由ChatGPT + DALL·E 2共同创作而成. 文章目录前言 1. 算法思想 2. 细节梳理 2.1 超参数的选择 2.2 一些trick 3. 算法实现 3.1 问题场景 3. ...
【控制】粒子群优化（PSO，Particle Swarm Optimization）算法及 Matlab 仿真实现
文章目录定义对比模拟捕食通俗解释粒子抽象关于速度和位置速度和位置的更新标准PSO算法流程标准PSO算法的流程 PSO流程图解学习因子 c1.c2c_1.c_2c1.c2 分析仿 ...
基于粒子群优化的灰色预测方法（Matlab）——附代码
目录摘要: 研究背景: GM(1,1)模型基于PSO的灰色预测算法运行结果: 本文Matlab代码分享摘要: 本文对灰色预测算法进行了研究.在GM(1,1)模型中,发展系数a和灰色作用量u是两 ...
【MATLAB教程案例11】基于PSO粒子群优化算法的函数极值计算matlab仿真及其他应用
FPGA教程目录 MATLAB教程目录 -------------------------------------------------------------------------------- ...
bp 神经网络优点不足_基于粒子群算法和BP神经网络的多因素林火等级预测模型...
森林对于生态环境以及人类生活.生产意义重大.目前世界森林面积达40亿hm2,受自然或人为因素的影响,每年全球发生森林火灾次数高达几十万次,受灾面积达几百万公顷. 20世纪80年代以来,随着全球气候持续 ...
【FNN回归预测】基于matlab粒子群优化前馈神经网络婚姻和离婚数据回归预测【含Matlab源码 2069期】
一.粒子群优化前馈神经网络简介 1 前馈神经网络FNN 前馈神经网络FNN是解决非线性问题的很好模型,它通过梯度下降算法进行网络训练.FNN与时间序列法等传统方法相比,能够更好地来描述问题的非线性特性 ...
《人工神经网络原理》读书笔记（六）-Boltzmann机
全部笔记的汇总贴:<人工神经网络原理>-读书笔记汇总一.随机型神经网络的提出 BP和Hopfield网络陷入局部最小点的原因网络误差或能量函数构成了含有多个极小点的非线性超曲面: 网络 ...

人工神经网络(Artificial Neural Netwroks)笔记-粒子群优化(Partical Swarm Optimization - PSO)...

人工神经网络(Artificial Neural Netwroks)笔记-粒子群优化(Partical Swarm Optimization - PSO)...相关推荐

最新文章

热门文章