最优化——粒子群算法(PSO)

粒子群算法（PSO）

基本概念

D维空间中，有N个粒子；

粒子i位置： Xi=(xi1,xi2,xi3,…,xiD)X_i = (x_{i1},x_{i2},x_{i3},\dots,x_{iD})Xi=(xi1,xi2,xi3,…,xiD),将Xi代入适应度函数f(Xi)求适应值；

粒子i速度：Vi=(Vi1,Vi2,Vi3,…,ViD)V_i = (V_{i1},V_{i2},V_{i3},\dots,V_{iD})Vi=(Vi1,Vi2,Vi3,…,ViD)

粒子i经历过的最好位置： pbest=(pi1,pi2,…,piD)pbest=(p_{i1},p_{i2},\dots,p_{iD})pbest=(pi1,pi2,…,piD)

种群所经历过的最好位置: gbest=(g1,g2,…,gD)gbest = (g_1,g_2,\dots,g_D)gbest=(g1,g2,…,gD)

注意：速度变化范围需要被限制在[−Vmax,d,Vmax,d-V_{max,d},V_{max,d}−Vmax,d,Vmax,d]内，若VidV_{id}Vid超过了最大边界值，则该维的速度被限制为该维的最大速度。

(从ppt后面的例子，在解四维空间最小值的问题中貌似不会强行拉回解空间)

粒子i的第d维速度和位置更新公式：
Vidk=wVidk−1+c1r1(pbestid−xidk−1)+c2r2(gbestd−xidk−1)xidk=xidk−1+VidkV_{id}^k = w V_{id}^{k-1} + c_1r_1(pbest_{id}-x_{id}^{k-1}) + c_2r_2(gbest_d-x_{id}^{k-1}) \\ x_{id}^{k} = x_{id}^{k-1} + V_{id} ^k Vidk=wVidk−1+c1r1(pbestid−xidk−1)+c2r2(gbestd−xidk−1)xidk=xidk−1+Vidk
VidkV_{id}^kVidk : 第k次迭代粒子i的速度矢量的第d维分量。

xidkx_{id}^kxidk:第k次迭代粒子i的位置矢量的第d维分量。

c1,c2c_1,c_2c1,c2:加速常数，。

r1,r2r_1,r_2r1,r2:[0,1]随机数，增加随机性

w：惯性权重因子，决定当前速度与上一次速度关联的大小(了解过momentum的同学应该非常熟悉)

惯性权重因子w

w较大，全局寻优强，w较小，局部寻优强。启示我们要在迭代开始时让w较大，快结束时让w较小。

线性递减权值
w=wmax−(wmax−wmin)×runrunmaxw = w_{max} - (w_{max}-w_{min}) \times \frac{run}{run_{max}} w=wmax−(wmax−wmin)×runmaxrun
如此设置权重使得开始迭代时w较大，全局寻优强（避免陷入局部最优解），快结束时w较小，局部寻优强（避免震荡不收敛）。

算法过程

初始化参数和控制参数
- 粒子群大小，初始位置，初始位置，最大迭代次数，速度范围，位置范围；
- 惯性因子w,加速度系数，已经迭代的次数(0)。
根据适应度函数，评价每个粒子的适应度
对于每个粒子，将其适应度值与其个人历史最佳(pbest)相比较。如果当前适应度值更高，则将用当前位置去更新最佳位置
对于每个粒子，将其当前适应度值与全局最佳位置(gbest)对应的适应度值比较，如果当前适应度值更高，则将用当前位置去更新最佳位置gbest
根据公式去更新每个粒子的速度，判断速度是否满足范围要求，若不满足需要纠正，纠正后更新位置。
判断是否满足退出条件，即算法到达最大迭代次数或者最佳适应度值得增量小于某个给定的阈值，则算法停止，否则返回步骤2.

应用

考试中如何书写？给出具体例子。
求minx2−4x+3求 min \quad x^2-4x+3 求minx2−4x+3

首先初始化参数，粒子群大小设置为30，粒子维度为1维，适应度函数为x2−4x+3x^2-4x+3x2−4x+3,惯性权重因子w为0.8，加速常数c1为2，c2为2，最大迭代次数为100次。然后去随机初始化种群每个个体的位置和初始速度，并记录下此时每个粒子经历过的最好位置（即当前位置）以及种群最好的位置。
根据适应度函数去评价每个粒子的适应度
对于每个粒子，将其适应度值与其个人历史最佳(pbest)相比较。如果当前适应度值更高，则将用当前位置去更新最佳位置
```
temp = self.function(self.x[i])
if temp < self.p_fit[i]:self.p_fit[i] = tempself.pbest[i] = self.x[i]
```
在该粒子小于其个人历史最佳的基础之上，再将其与全局最佳位置(gbest)对应的适应度值比较，如果当前适应度值更高，则将用当前位置去更新最佳位置gbest
```
temp = self.function(self.x[i])
if temp < self.p_fit[i]:self.p_fit[i] = tempself.pbest[i] = self.x[i]if self.p_fit[i] < self.fit:  # 更新全局最优self.gbest = self.X[i]self.fit = self.p_fit[i]
```
根据公式去更新每个粒子的速度，判断速度是否满足范围要求，若不满足需要纠正，纠正后更新位置。
判断是否满足退出条件，即算法到达最大迭代次数或者最佳适应度值得增量小于某个给定的阈值，则算法停止，否则返回步骤2.