最小二乘matlab建模,最小二乘（模型拟合）算法

信赖域反射最小二乘算法

Optimization Toolbox 求解器中使用的许多方法都基于信赖域，这是一个简单而功能强大的优化概念。

要理解信赖域优化方法，请考虑无约束最小化问题，最小化 f(x)，该函数接受向量参数并返回标量。假设您现在位于 n 维空间中的点 x 处，并且您要寻求改进，即移至函数值较低的点。基本思路是用较简单的函数 q 来逼近 f，该函数需能充分反映函数 f 在点 x 的邻域 N 中的行为。此邻域是信赖域。试探步 s 是通过在 N 上进行最小化(或近似最小化)来计算的。以下是信赖域子问题，mins{q(s),s∈N}.(1)

如果 f(x + s)

在定义特定信赖域方法以最小化 f(x) 的过程中，关键问题是如何选择和计算逼近 q(在当前点 x 上定义)、如何选择和修改信赖域 N，以及如何准确求解信赖域子问题。本节重点讨论无约束问题。后面的章节讨论由于变量约束的存在而带来的额外复杂性。

在标准信赖域方法 ([48]) 中，二次逼近 q 由 F 在 x 处的泰勒逼近的前两项定义；邻域 N 通常是球形或椭圆形。以数学语言表述，信赖域子问题通常写作min{12sTHs+sTgsuch that‖Ds‖≤Δ},(2)

其中，g 是 f 在当前点 x 处的梯度，H 是 Hessian 矩阵(二阶导数的对称矩阵)，D 是对角缩放矩阵，Δ 是正标量，∥ . ∥ 是 2-范数。存在求解公式 2 的好算法(请参阅[48])；此类算法通常涉及计算 H 的所有特征值，并将牛顿法应用于以下久期方程

1Δ−1‖s‖=0.

此类算法提供公式 2 的精确解。但是，它们要耗费与 H 的几个分解成比例的时间。因此，对于信赖域问题，需要采取另一种方法。文献([42] 和 [50])中提出了几种基于公式 2 的逼近和启发式方法建议。Optimization Toolbox 求解器采用的逼近方法是将信赖域子问题限制在二维子空间 S 内([39] 和 [42])。一旦计算出子空间 S，即使需要完整的特征值/特征向量信息，求解公式 2 的工作量也不大(因为在子空间中，问题只是二维的)。现在的主要工作已转移到子空间的确定上。

二维子空间 S 是借助下述预条件共轭梯度法确定的。求解器将 S 定义为由 s1 和 s2 确定的线性空间，其中 s1 是梯度 g 的方向，s2 是近似牛顿方向，即下式的解H⋅s2=−g,(3)

或是负曲率的方向，s2T⋅H⋅s2<0.(4)

以此种方式选择 S 背后的理念是强制全局收敛(通过最陡下降方向或负曲率方向)并实现快速局部收敛(通过牛顿步，如果它存在)。

现在，我们可以很容易地给出基于信赖域的无约束最小化的大致框架：

构造二维信赖域子问题。

求解公式 2 以确定试探步 s。

如果 f(x +

s) <

f(x)，则 x = x +

s。

调整 Δ。

重复这四个步骤，直到收敛。信赖域维度 Δ 根据标准规则进行调整。具体来说，它会在试探步不被接受(即 f(x +

s) ≥

f(x))时减小。有关这方面的讨论，请参阅[46] 和 [49]。

Optimization Toolbox 求解器用专用函数处理 f 的一些重要特例：非线性最小二乘、二次函数和线性最小二乘。然而，其底层算法思路与一般情况相同。这些特例将在后面的章节中讨论。

最小二乘matlab建模,最小二乘（模型拟合）算法相关推荐

基于Matlab有限差分的高阶迭代最小二乘积分的波前重构算法
该算法根据x与y方向波前斜率,可对其波前进行重构. 一.算法验证首先,分别得到x方向与y方向的波前斜率,分别如下图所示: 图1 X方向波前斜率图2 Y方向波前斜率基于有限差分的高阶迭代最小二乘积 ...
Matlab最小二乘法：线性最小二乘、加权线性最小二乘、稳健最小二乘、非线性最小二乘与剔除异常值效果比较
最近我们被客户要求撰写关于最小二乘法的研究报告,包括一些图形和统计输出.matlab软件在拟合数据时使用最小二乘法.拟合需要一个参数模型,该模型将因变量数据与具有一个或多个系数的预测数据相关联.拟合过 ...
非线性最小二乘问题的高斯-牛顿算法
@非线性最小二乘问题的高斯-牛顿算法非线性最小二乘与高斯-牛顿算法开始做这个东西还是因为学校里的一次课程设计任务,找遍了全网好像也没有特别好用的,于是就自己写了一个.仅供参考. 首先,介绍下非线性 ...
PLS-PM with R 偏最小二乘路径建模 (R语言)
1. 引入 1.1. 安装plspm包 plspm 是一个用于执行偏最小二乘路径建模分析的 r 程序包. 在 CRAN 上可以免费下载: Http://cran.r-project.org/web/p ...
运用matlab开发高频交易算法,数学建模论文高频交易算法
2012年东华大学数学建模竞赛论文赛题编号( 高频交易算法设计参赛队号: 参赛队员: 2012年5月21日摘要高频交易算法利用计算机在上千个股票,上万个期权,每时每刻的交易数据中,筛选出合适的 ...
Matlab偏最小二乘回归命令plsregress详解
Matlab偏最小二乘回归命令plsregress Matlab工具箱中偏最小二乘回归命令plsregress的使用格式为 [XL,YL,XS,YS,BETA,PCTVAR,MSE,stats] = ...
matlab的实用与仿真,MATLAB建模与仿真实用教程
前言第1章MATLAB建模基础 1.1 MATLAB简介 1.1.1 MATLAB的安装 1.1.2 MATLAB通用命令 1.1.3 MATLAB应用窗口简介 1.2 MATLAB数学建模概述 1 ...
matlab 投票法_SVM算法原理及其Matlab应用
<SVM算法原理及其Matlab应用>由会员分享,可在线阅读,更多相关<SVM算法原理及其Matlab应用(18页珍藏版)>请在人人文库网上搜索. 1.SVM 算法及其 Mat ...
matlab中sqp的算法原理_最优化方法及其Matlab程序设计马昌凤
内容简介<最优化方法及其Matlab程序设计>较系统地介绍了非线性最优化问题的基本理论和算法,以及主要算法的Matlab程序设计,主要内容包括(精确或非精确)线搜索技术.最速下降法与(修正 ...

最小二乘matlab建模,最小二乘（模型拟合）算法

最小二乘matlab建模,最小二乘（模型拟合）算法相关推荐

最新文章

热门文章