经典算法：模拟退火(SA)算法

一、概念

模拟退火算法(SA) 来源于固体退火原理，是一种基于概率的算法。
模拟退火算法从某一较高初温出发，伴随温度参数的不断下降,结合概率突跳特性在解空间中随机寻找目标函数的全局最优解，即在局部最优解能概率性地跳出并最终趋于全局最优。模拟退火算法是通过赋予搜索过程一种时变且最终趋于零的概率突跳性，从而可有效避免陷入局部极小并最终趋于全局最优的串行结构的优化算法。

模拟退火算法包含两个部分即Metropolis算法和退火过程,，分别对应内循环和外循环。
退火过程是外循环，将固体达到较高的温度（初始温度T（0）），然后按照降温系数alpha使温度按照一定的比例下降，当达到终止温度Tf时，冷却结束，即退火过程结束。
Metropolis算法是内循环，即在每次温度下，迭代L次，寻找在该温度下能量的最小值（即最优解）。在该温度下，整个迭代过程中温度不发生变化，能量发生变化，当前一个状态x(n)的能量大于后一个状态x(n+1)的能量时，则接受状态x(n+1)。但是如果下一状态的能量比前一个状态的能量高时，设置一个接受概率p，即如果下一状态的能量比前一个状态的能量高，则接受下一状态的概率为P。

二、接受概率 p

为了避免局部最优，当f(x_j)≤f(x_i)时不是直接拒绝f(x_j)，而是以一定概率p∈[0,1]接受新解，且f(x_j)与f(x_i)越相近，p值越大：

又需要满足p∈[0,1]，最终定义为：

特点：

1、接受新解的概率p越大，解空间搜索范围越小
2、搜索范围前期大，后期小。前期避免陷入局部最优，后期注重局部搜索。
3、随机接受新解的概率p∈[0,1]，若为0，类似于爬山法，若为1，类似于蒙特卡洛

一般来说，p的取值还和时间t有关，因此定义p_t：

Ct可以看作是时间的函数，于是接受新解的概率p就可以随时间变化：随着时间增加，Ct变大。
由于搜索前期，我们希望范围较大，更倾向于接受新解，p则需要变大，而P和Ct成负相关，所以Ct较小。反之随着时间增长，Ct变大

三、启发式搜索过程

假设求最大值问题：
（1）随机生成一个解A，计算解A对应的目标函数值f(A)
（2）在A附近随机生成一个解B，计算解B对应的目标函数f(B)
（3）如果f(B)>f(A)，那么将解B赋值给A，然后重复上述步骤（爬山法）；如果f(B)≤f(A)，那么我们计算接受B的概率p_t，然后生成一个[0,1]的随机数r，如果r<p_t，我们将解B赋值给解A，然后重复上面步骤；否则返回(2)，在原来的A附近重新生成一个解B，然后继续。

注：生成随机数是在区间【0,1】产生一个均匀分布的随机数ϵ

问题：

1、优化问题有约束条件怎么办？

在（2）中直接判断新解B是否满足约束条件，不满足可以直接构造新解。
在原来目标函数值的基础，加入罚函数。效果是如果不满足约束，这个值要么很大要么很小。用这样的方法转换成无约束问题。

2、Ct如何设置

定义初始温度T0，温度下降公式为 T_t+1=αT_t，α常取0.95。Ct取倒数是为了保证Ct关于t递增

所以接受新解的概率 p_t 定义为：

① 当温度一定时， Δf 越小，p越大。
② Δf 一定时，温度越高，p越大。

3、迭代终止条件

给定迭代次数
达到一定温度
找到的最优解连续M次无变化

4、如何在A附近生成一个新解B

具体问题具体分析
如：matlab中内置函数产生新解的方式
随机产生一组随机数(y₁,y₂,y₃…,y_n)，其中y_i服从N(0,1)
计算(z₁,z₂,z₃…,z_n)，其中z_i=((y12+y22+y32+...+yn2)(\sqrt(y_1^2+y_2^2+y_3^2+...+y_n^2)((y12+y22+y32+...+yn2)
xn=xi+T∗zix_n=x_i+T*z_ixn=xi+T∗zi

四、实例应用

模拟退火算法详细讲解（含实例python代码）

参考文献

1、数学建模清风第二次直播：模拟退火算法
2、模拟退火算法详细讲解（含实例python代码）