信赖域方法

除了之前讲过的线搜索方法，信赖域方法（trust region）也是数值优化中的一类重要的方法。在信赖域方法中我们需要定义一个信赖域，在这个信赖域中使用替代函数来代替原来的目标函数，通过优化替代函数来优化目标函数。本文和书中一致，采用二次函数来作为替代函数（model function mkm_kmk)。mkm_kmk是原函数fff在xkx_kxk这点处的泰勒级数展开。

f(xk+p)=fk+gkTp+12pT∇2f(xk+tp)pf(x_k+p)=f_k+g^T_kp+\frac{1}{2}p^T \nabla^2f(x_k+tp)p f(xk+p)=fk+gkTp+21pT∇2f(xk+tp)pmk(p)=fk+gkTp+12pTBkpm_k(p)=f_k+g^T_kp+\frac{1}{2}p^TB_kp mk(p)=fk+gkTp+21pTBkp

信赖域大小调节

既然有了信赖域，我们就需要定义信赖域的大小。我们需要使用一个评判标准来告知信赖域的设定是否合理，我们使用ρk\rho_kρk来判断。

ρk=f(xk)−f(xk+pk)mk(0)−mk(pk)\rho_k=\frac{f(x_k)-f(x_k+p_k)}{m_k(0)-m_k(p_k)} ρk=mk(0)−mk(pk)f(xk)−f(xk+pk)

分子为实际减小量，分母为预测减小量。当两者越接近1说明替代函数的效果越好。当信赖域大小导致不好的时候，需要减小信赖域，信赖域效果很好的时候需要增加信赖域范围。

优化替代函数问题

在信赖域方法中，我们需要对子问题进行求解。

求解这类问题可以求解精确解或者求解近似解。

精确解

当上述的条件符合时，4.8b只有两种可能，λ=0\lambda=0λ=0或者∇−∥p∗∥=0\nabla-\left\| p^*\right\|=0∇−∥p∗∥=0。假设子问题的解在信赖域内，那么只可能是λ=0\lambda=0λ=0。此时我们有Bp∗=−gBp^*=-gBp∗=−g（B是半正定的）。当另一种情况时∇−∥p∗∥=0\nabla-\left\| p^*\right\|=0∇−∥p∗∥=0,可以得到λp∗=−Bp∗−g=−∇m(p∗)\lambda p^*=-Bp^*-g=-\nabla m(p^*)λp∗=−Bp∗−g=−∇m(p∗)，此时解的方向和m的负梯度方向是相同的。

近似解

cauchy point：cauthy point 这个点就是mk在最速下降方向上的最小值，同时受到信赖域的约束。

第一个方法是dogleg方法，使用dogleg方法的前提是B必须是正定的。第二个方法是two-dimensional subspace minimization，当B不是正定时也可以使用。

在这里和前面不同的是我们并没有使用泰勒展开中的二次项，而是只展开到了一次项。所以说这是一个近似的解。引进τk\tau_kτk的目的是为了保证信赖域的约束，并且使得mk(τpks)m_k(\tau p^s_k)mk(τpks)在置信域内有最小值。（4.9）问题的解是pkc=−τkΔk∥gk∥gkp^c_k=-\tau_k \frac{\Delta_k}{\left\| g_k \right\|}g_kpkc=−τk∥gk∥Δkgk。我们需要讨论gkTBkgk≤0g^T_k B_k g_k \leq0gkTBkgk≤0和gkTBkgk>0g^T_k B_k g_k >0gkTBkgk>0的情况。

τk={1if gkTBkgk≤0min⁡(∥gk∥3/(ΔkgkTBkgk),1)otherwise \tau_{k}= \begin{cases}1 & \text { if } g_{k}^{T} B_{k} g_{k} \leq 0 \\ \min \left(\left\|g_{k}\right\|^{3} /\left(\Delta_{k} g_{k}^{T} B_{k} g_{k}\right), 1\right) & \text { otherwise }\end{cases} τk={1min(∥gk∥3/(ΔkgkTBkgk),1) if gkTBkgk≤0 otherwise

初看这个式子可能不太清楚其由来，其实是二次函数求极值的问题的解。当第一种情况时，函数随着τ\tauτ单调递减，为了在信赖域以内，我们能取的最大的τ\tauτ为1。另一种情况时，需要代入τpks\tau p^s_kτpks到函数中去，求导数令其等于零。，可以解出τ=∥gk∥3ΔkgkTBgk\tau=\frac{\left\| g_k \right\|^3}{\Delta_kg_k^TBg_k}τ=ΔkgkTBgk∥gk∥3,当这个值大于了信赖域边界时不能直接取这个值，此时导数恒小于零，函数单调递减，所以τ\tauτ取值为1。

dogleg method

当B是正定的时候，我们可以比较简单的知道，无约束最小化函数值的m为pB=−B−1gp^B=-B^{-1}gpB=−B−1g。当这个点是可达的时候，这是问题的解

p∗(Δ)=pB,whenΔ≥∥pB∥p^*(\Delta)=p^B,\quad when \,\Delta \geq \left\| p^B \right\| p∗(Δ)=pB,whenΔ≥∥∥pB∥∥

当Δ\DeltaΔ的值比pBp^BpB小很多的时候，我们忽略二次项，得到一个近似的解

p∗(Δ)≈−Δg∥g∥,whenΔissmallp^*(\Delta)\approx-\Delta\frac{g}{\left\| g \right\|}, \quad when\,\Delta \,is\,small p∗(Δ)≈−Δ∥g∥g,whenΔissmall

当Δ\DeltaΔ的值属于中等大小的时候，dgoleg方法使用两个路径合起来来寻找近似最优解。

第一条线是从起始点到最速下降方向的最小点。

pU=−gTggTBggp^U=-\frac{g^Tg}{g^TBg}g pU=−gTBggTgg

第二条是从pUp^UpU到pBp^BpB，我们把总的轨迹用下列公式表示

p~(τ)={τpU0≤τ≤1pU+(τ−1)(pB−pU)1≤τ≤2\begin{equation} \tilde{p}(\tau)= \begin{cases} \tau p^U \quad 0\leq\tau\leq1\\ p^U+(\tau-1)(p^B-p^U)\quad 1\leq\tau\leq2 \end{cases} \nonumber \end{equation} p~(τ)={τpU0≤τ≤1pU+(τ−1)(pB−pU)1≤τ≤2

书中这里讲的不是很详细，我看了一篇博客讲的不错，链接放到文末了。

参考资料

①：Numerical Optimization

②：暴力拆解《Numerical Optimization》之信任域方法（下）——Dogleg（狗腿方法）_xiaopihaierletian的博客-CSDN博客

数值优化-信赖域方法相关推荐

数值优化 Ch.4 信赖域方法
目录信赖域方法信赖域方法概述基于柯西点的算法柯西点为什么要改良柯西法狗腿法二维子空间极小化全局收敛性柯西点收益平稳点的收敛性子问题的迭代解法困难的情况定理4.1的证明基于近 ...
最小二乘优化整理（信赖域方法）
信赖域方法和线搜索类似都是迭代方法,与其不同的是,每次迭代时,在一个选定的可信赖区域内,选择当前迭代点的近似模型 mkmk ,然后计算最优步长:如果步长不合适,可以对区域进行缩放.该小结主要介绍: 信 ...
matlab中信赖域法,第8讲信赖域方法.ppt
第8讲信赖域方法 3.6 信赖域方法( Trust-Region Methods) * 基本思想线性搜索与信赖域方法的联系信赖域方法思想信赖域半径的选择信赖域算法信赖域方法的收敛性解信赖域 ...
迭代求解最优化问题——信赖域方法
信赖域方法前面提到了Line Search算法分为两步,首先确定方向,然后确定步长,实际上是假设近似模型在某一方向上可以较好的代表真实模型.Trust region算法则在此基础上,假设在一个选定的 ...
基于Dogleg思想和精确Hessian的信赖域方法及实例（附MATLAB程序）
关于信赖域方法的完整介绍,请参照博客信赖域方法. 优化问题简介此处我们简要介绍理论计算: 给定无约束优化问题min⁡x∈Rnf(x),\min\limits_{x\in \mathbb{R}^n}f ...
最优化理论——信赖域方法
最优化理论--信赖域方法算法思想算法步骤子问题算法步骤代码示例原问题代码示例算法思想算法步骤子问题算法步骤代码 function [d,val,lam,k]=trustq(g ...
信赖域狗腿（dogleg）方法
信赖域狗腿方法信赖域方法(Trust-region methods)又称为TR方法,它是一种最优化方法,能够保证最优化方法总体收敛.现今,信赖域算法广泛应用于应用数学.物理.化学.工程学.计算机科学 ...
数值最优化—无约束问题信赖域算法
目录一.参考二.线性搜索与信赖域算法区别三.信赖域算法四.信赖域子问题的求解 1. 精确求解方法 2. 折线方法(Dogleg Method 狗腿法) 一.参考 <数值最优化算法与理论& ...
【优化算法】信赖域折线（狗腿）法（Trust Region Dogleg Method）
出发点刘红英老师的最优化课程需要用到信赖域方法,求解问题并画图,网上找到的中文内容的矩阵实验室(MATLAB)信赖域折线(狗腿)法求解代码,都很繁琐,而且心理感觉不可靠(手动狗头),而且我没心思一点 ...

数值优化-信赖域方法

信赖域方法

信赖域大小调节

优化替代函数问题

数值优化-信赖域方法相关推荐

最新文章

热门文章