0、论文背景

本文提出了一种新的最小化可能的非线性和不可微连续空间函数的启发式方法，即差分进化。

Storn R, Price K. Differential evolution–a simple and efficient heuristic for global optimization over continuous spaces[J]. Journal of global optimization, 1997, 11(4): 341-359.

1、介绍

本文主要提出了差分进化，然后与其他全局优化算法进行比较，然后得出差分进化效果更好的结论。本文不做其他算法进行解读，主要解读的是差分进化。

用户通常要求一个实用的最小化技术应该满足五个要求：

能够处理不可微、非线性和多模态代价函数。
并行地处理计算密集型成本函数。
使用很少的控制变量来控制最小化。这些变量也是稳健的和易于选择的。
良好的收敛性。

Differential evolution：

为了满足要求1，将DE设计为一种随机直接搜索方法。
DE通过使用一个种群向量来满足要求2，其中种群向量的随机扰动可以独立地完成。
DE的自组织方案利用两个随机选择的种群向量的差分向量来扰动一个现有的向量。对每个种群向量都进行了扰动。
后续实验表明，DE在收敛性这一方面变现地非常好。

2、Differential evolution

差分进化(DE)是一种利用NP个D维参数向量的并行直接搜索方法，G表示迭代次序。

$x_{i, G}, i=1,2, \ldots, \mathrm{NP}$

DE通过将两个参数向量之间的加权差值加到第三个向量中来生成新的参数向量。让这个操作被称为突变。

突变向量的参数然后与另一个预定向量的参数混合，即目标向量，以产生所谓的试验向量。参数混合通常被称为“交叉”。如果试验向量产生的成本函数值低于目标向量，则试验向量将在下一代中替换目标向量。这最后一个操作被称为选择。上述操作一共进行NP次。

2.1 突变

对于每一个向量：

$x_{i, G}, i=1,2,3, \ldots, \mathrm{NP}$

生成一个突变向量：

$v_{i, G+1}=x_{r_{1}, G}+F \cdot\left(x_{r_{2}, G}-x_{r_{3}, G}\right)$

$r_{1}, r_{2}, r_{3} \in\{1,2, \ldots, \mathrm{NP}\}$

r1、r2和r3选择为与i不同；F是[0,2]之间，主要是控制参数向量的突变程度。

还有一种形式：

$v_{i, G+1}=x_{\text {best }, G}+F \cdot\left(x_{r_{1}, G}+x_{r_{2}, G}-x_{r_{3}, G}-x_{r_{4}, G}\right)$

当种群向量NP的数量足够高时，使用两个差分向量似乎可以提高种群的多样性。

2.2 交叉

为了增加突变向量的多样性，引入了交叉的方法。得到试验向量：

$u_{i, G+1}=\left(u_{1}, G+1, u_{2 i}, G+1, \ldots, u_{D i, G+1}\right)$

试验向量通过如下方式获得：

$\begin{aligned} u_{j i, G+1} &=\left\{\begin{array}{ll} v_{j i, G+1} & \text { if }(\operatorname{randb}(j) \leq C R) \text { or } j=\operatorname{rnbr}(i) \\ x_{j i, G} & \text { if }(\operatorname{randb}(j)>C R) \text { and } j \neq \operatorname{rnbr}(i) \end{array}\right.\\ j &=1,2, \ldots, D . \end{aligned}$

randb(j)是[0,1]之间随机生成的；CR是[0,1]之间的交叉常量； $rnbr(i)\in 1,2,...,D$ ，确保 $u_{i,G+1}$ 至少从 $v_{i,G+1}$ 中获得一个参数。

图形的形象表示：

2.3 选择

如果向量 $u_{i,G+1}$ 产生的成本函数值小于 $x_{i,G}$ ，则将 $x_{i,G+1}$ 设置为 $u_{i,G+1}$ ；否则，将保留旧值 $x_{i,G}$ 。

整个算法的伪代码流程图：

3、算法的个人复现和简单实验

clear;clc;clearvars;
% 初始化变量维度,种群数,最大迭代次数,搜索区间,F,CR
dim = 5;
popsize = 50;
maxIteration = 1000;
LB = -5.12 * ones(1, dim);
UB = 5.12 * ones(1, dim);
F = 1;
CR = 0.9;
[globalBest, globalBestFitness, FitnessHistory] = DE(popsize, maxIteration,dim, LB, UB, F, CR, @(x)Fun(x));
disp(globalBestFitness);
disp(globalBest);
plot(FitnessHistory);

function y = Fun(x)
%d = length(x);%[-30,30]
%y = -20*exp(-0.02*sqrt((sum(x.^2))/d)) - exp(sum(cos(2*pi*x))./d)+20+exp(1);
y = sum(x.^2);%[-5.12,5.12]
end

function [globalBest, globalBestFitness, FitnessHistory] = DE(popsize, maxIteration,dim, LB, UB, F, CR, Fun)
% 种群的初始化和计算适应度值
Sol(popsize, dim) = 0; % Declare memory.
Fitness(popsize) = 0;
for i = 1:popsizeSol(i,:) = LB+(UB-LB).* rand(1, dim);Fitness(i) = Fun(Sol(i,:));
end% 获得全局最优值以及对应的种群向量
[fbest, bestIndex] = min(Fitness);
globalBest = Sol(bestIndex,:);
globalBestFitness = fbest; % 开始迭代
for time = 1:maxIterationfor i = 1:popsize% 突变%r = randperm(popsize, 3);  r = randperm(popsize, 5);   %在1~pop中随机选择5个数组成一个数组,使用两个差分变量进行扰动mutantPos = Sol(r(1),:) + F * (Sol(r(2),:) - Sol(r(3),:)) ...+ F * (Sol(r(4),:) - Sol(r(5),:));% 交叉jj = randi(dim);  % 选择至少一维发生交叉for d = 1:dimif rand() < CR || d == jjcrossoverPos(d) = mutantPos(d);elsecrossoverPos(d) = Sol(i,d);endend% 检查是否越界.crossoverPos(crossoverPos>UB) = UB(crossoverPos>UB); crossoverPos(crossoverPos<LB) = LB(crossoverPos<LB);evalNewPos = Fun(crossoverPos);% 将突变和交叉后的变量重新评估% 小于原有值就更新if evalNewPos < Fitness(i)Sol(i,:) = crossoverPos;Fitness(i) = evalNewPos;endend[fbest, bestIndex] = min(Fitness);globalBest = Sol(bestIndex,:);globalBestFitness = fbest;% 存储每次迭代的最优值.FitnessHistory(time) = fbest;
end
end

如有错误还请批评改正！

DE–A Simple and Efficient Heuristic for Global Optimization over Continuous Spaces相关推荐

SegFormer: Simple and Efficient Design for Semantic Segmenta
前言将 Transformer 与轻量级多层感知 (MLP) 解码器相结合,表现SOTA!性能优于SETR.Auto-Deeplab和OCRNet等网络,代码即将开源! 注1:文末附[视觉Trans ...
lidar_align 标定lidar和imu 在“Performing Global Optimization”步骤终止的问题
前言 lidar_align的安装调试以及报错处理可见下面篇文章,非常详细,对我帮助很大. ubuntu16.04 lidar_align实现三维激光雷达和Imu联合标定_berry丶的博客-CSDN ...
Large-Scale Global Optimization Using Cooperative Coevolution with Variable Interaction Learning
0.论文背景本文在CC框架的基础上,提出了一个新的CC框架CCVIL,放弃了均匀的随机变量分组策略.该框架最初将所有变量视为独立的,并将每个变量放入一个单独的组中.迭代地,它发现它们之间的关系,并相 ...
2017matlab优化器,Global Optimization Toolbox
Global Optimization Toolbox是为Maple软件用户打造的全局优化工具箱,支持32位和64位操作系统.软件提供了强大的优化算法,可以在在强大的Maple数值和符号系统中建立优化 ...
【Transformer】16、SegFormer：Simple and Efficient Design for Semantic Segmentation with Transformers
文章目录一.背景和动机二.方法 2.1 Hierarchical Transformer Encoder 2.2 Lightweight ALL-MLP Decoder 2.3 和 SETR 的区 ...
论文阅读：SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers
论文地址:https://arxiv.org/abs/2105.15203 发表年份:2021 我们提出了SegFormer,一个简单,高效但强大的语义分割框架,它将Transformers与轻量级多 ...
SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers
https://arxiv.org/pdf/2105.15203.pdf 文章提出了SegFormer,encoder由金字塔Transformer组成,不使用位置编码,而是使用一个3x3的逐深度卷积 ...
Plan with Global Optimization
Global Optimization via Optimal Decision Trees
摘要全局优化文献非常重视将棘手的优化问题简化为更易于处理的结构化优化形式. 为了实现这一目标,许多现有方法仅限于对使用可能数学原语子集的显式约束和目标进行优化. 这些在出现更一般的显式和黑盒约束的实 ...

DE–A Simple and Efficient Heuristic for Global Optimization over Continuous Spaces