文章目录

1 非线性误差方程
2 非线性模型的LS解
3 实例分析
- 3.1 问题
- 3.2 解答

现实世界中存在大量的非线性模型，并且我们常常需要对模型中的未知参数进行估计。当模型的非线性强度较弱、精度要求合适时，我们可将非线性模型线性化获取其近似解。本文讨论以最小二乘法估计线性化后的模型参数。

1 非线性误差方程

非线性的观测方程可表示为
L n , 1 = f n , 1 ( X t , 1 ) + Δ n , 1 (1) \mathop{L}\limits_{n,1}=\mathop{f}\limits_{n,1}(\mathop{X}\limits_{t,1})+\mathop{\Delta}\limits_{n,1} \tag{1} n,1L=n,1f(t,1X)+n,1Δ(1)
式中， f ( X ) = ( f 1 ( X ) f 2 ( X ) ⋯ f n ( X ) ) T f(X)=\left( f_{1}(X)f_{2}(X)\cdots f_{n}(X) \right)^{T} f(X)=(f1(X)f2(X)⋯fn(X))T是由n个X的非线性函数组成的 n × 1 n\times1 n×1向量。
当未知参数（X）、真误差（ Δ \Delta Δ）分别用其估值 X ^ \hat{X} X^、 V V V代替时，则可得非线性误差方程
V n , 1 = f n , 1 ( X ^ ) − L n , 1 (2) \mathop{V}\limits_{n,1}=\mathop{f}\limits_{n,1}(\hat{X})-\mathop{L}\limits_{n,1} \tag{2} n,1V=n,1f(X^)−n,1L(2)
式中， V V V也称为残差向量。

2 非线性模型的LS解

将非线性模型式 ( 2 ) (2) (2)在 X 0 X^{0} X0处泰勒展开并取至一次项，得
V = ∂ f ( X ^ ) ∂ X ^ ∣ X ^ = X 0 ∙ δ X ^ − ( L − f ( X 0 ) ) (3) V={\frac{\partial f(\hat{X})}{\partial \hat{X}}\mid_{\hat{X}=X^{0}}}\bullet {\delta\hat{X}}-(L-f(X^{0})) \tag{3} V=∂X^∂f(X^)∣X^=X0∙δX^−(L−f(X0))(3)
若令 l = L − f ( X 0 ) l=L-f(X^{0}) l=L−f(X0)，则
V = B ∙ δ X ^ − l (4) V=B\bullet\delta\hat{X}-l \tag{4} V=B∙δX^−l(4)
式中，
B = ( ∂ f 1 ( X ^ ) ∂ X 1 ^ ∣ X ^ = X 0 ∂ f 1 ( X ^ ) ∂ X 2 ^ ∣ X ^ = X 0 ⋯ ∂ f 1 ( X ^ ) ∂ X t ^ ∣ X ^ = X 0 ∂ f 2 ( X ^ ) ∂ X 1 ^ ∣ X ^ = X 0 ∂ f 2 ( X ^ ) ∂ X 2 ^ ∣ X ^ = X 0 ⋯ ∂ f 2 ( X ^ ) ∂ X t ^ ∣ X ^ = X 0 ⋮ ⋮ ⋮ ⋮ ∂ f n ( X ^ ) ∂ X 1 ^ ∣ X ^ = X 0 ∂ f n ( X ^ ) ∂ X 2 ^ ∣ X ^ = X 0 ⋯ ∂ f n ( X ^ ) ∂ X t ^ ∣ X ^ = X 0 ) (5) B=\begin{pmatrix} {\frac{\partial f_1(\hat{X})}{\partial \hat{X_1}}\mid_{\hat{X}=X^{0}}} & {\frac{\partial f_1(\hat{X})}{\partial \hat{X_2}}\mid_{\hat{X}=X^{0}}} & \cdots & {\frac{\partial f_1(\hat{X})}{\partial \hat{X_t}}\mid_{\hat{X}=X^{0}}} \\ {\frac{\partial f_2(\hat{X})}{\partial \hat{X_1}}\mid_{\hat{X}=X^{0}}} & {\frac{\partial f_2(\hat{X})}{\partial \hat{X_2}}\mid_{\hat{X}=X^{0}}} & \cdots & {\frac{\partial f_2(\hat{X})}{\partial \hat{X_t}}\mid_{\hat{X}=X^{0}}}\\ \vdots & \vdots & \vdots & \vdots \\ {\frac{\partial f_n(\hat{X})}{\partial \hat{X_1}}\mid_{\hat{X}=X^{0}}} & {\frac{\partial f_n(\hat{X})}{\partial \hat{X_2}}\mid_{\hat{X}=X^{0}}} & \cdots & {\frac{\partial f_n(\hat{X})}{\partial \hat{X_t}}\mid_{\hat{X}=X^{0}}}\\ \end{pmatrix} \tag{5} B=⎝⎜⎜⎜⎜⎜⎛∂X1^∂f1(X^)∣X^=X0∂X1^∂f2(X^)∣X^=X0⋮∂X1^∂fn(X^)∣X^=X0∂X2^∂f1(X^)∣X^=X0∂X2^∂f2(X^)∣X^=X0⋮∂X2^∂fn(X^)∣X^=X0⋯⋯⋮⋯∂Xt^∂f1(X^)∣X^=X0∂Xt^∂f2(X^)∣X^=X0⋮∂Xt^∂fn(X^)∣X^=X0⎠⎟⎟⎟⎟⎟⎞(5)
称为系数矩阵（设计矩阵）。
根据最小二乘原理，
δ X ^ = ( B T P B ) − 1 B T P l (6) \delta\hat{X}=(B^TPB)^{-1}B^{T}Pl \tag{6} δX^=(BTPB)−1BTPl(6)
式中， P P P为权阵（衡量各个分量对总体的重要程度）且 P = Q − 1 P=Q^{-1} P=Q−1。这样，待估参数 X X X的最终估计结果为
X ^ = X 0 + δ X ^ (7) \hat{X}=X^{0}+\delta \hat{X} \tag{7} X^=X0+δX^(7)

3 实例分析

3.1 问题

已知非线性模型 f ( x ) = a e b x f(x)=ae^{bx} f(x)=aebx（其中 a , b a,b a,b为待估参数），通过观测我们获得了如下表所示的观测结果。现我们用LS估计未知参数 a , b a,b a,b。

x	1	2	3	4	5
f(x)	4.20	3.25	2.52	1.95	1.51

3.2 解答

（1）列立观测方程
依题意可列如下观测方程（对应式 ( 1 ) (1) (1)）
{ f 1 = a e b + Δ 1 f 2 = a e 2 b + Δ 2 f 3 = a e 3 b + Δ 3 f 4 = a e 4 b + Δ 4 f 5 = a e 5 b + Δ 5 (8) \begin{cases} f_1=ae^b+\Delta_1 \\ f_2=ae^{2b}+\Delta_2\\ f_3=ae^{3b}+\Delta_3\\ f_4=ae^{4b}+\Delta_4\\ f_5=ae^{5b}+\Delta_5\\ \end{cases} \tag{8} ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧f1=aeb+Δ1f2=ae2b+Δ2f3=ae3b+Δ3f4=ae4b+Δ4f5=ae5b+Δ5(8)
此时，我们可随机取两组数据（因为未知参数仅有 a , b a,b a,b）带入 f ( x ) = a e b x f(x)=ae^{bx} f(x)=aebx中解得 ( a b ) \begin{pmatrix} a \\ b \\ \end{pmatrix} (ab)的初始值为 ( a 0 b 0 ) = ( 5.4 − 0.3 ) \begin{pmatrix} a^0 \\ b^0 \\ \end{pmatrix}=\begin{pmatrix} 5.4 \\ -0.3 \\ \end{pmatrix} (a0b0)=(5.4−0.3)。

（2）估值代替得误差方程（对应式 ( 2 ) (2) (2)）
{ v 1 = a ^ e b ^ − f 1 v 2 = a ^ e 2 b ^ − f 2 v 3 = a ^ e 3 b ^ − f 3 v 4 = a ^ e 4 b ^ − f 4 v 5 = a ^ e 5 b ^ − f 5 (9) \begin{cases} v_1=\hat{a}e^{\hat{b}}-f_1 \\ v_2=\hat{a}e^{2\hat{b}}-f_2\\ v_3=\hat{a}e^{3\hat{b}}-f_3\\ v_4=\hat{a}e^{4\hat{b}}-f_4\\ v_5=\hat{a}e^{5\hat{b}}-f_5\\ \end{cases} \tag{9} ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧v1=a^eb^−f1v2=a^e2b^−f2v3=a^e3b^−f3v4=a^e4b^−f4v5=a^e5b^−f5(9)

（3）将误差方程于 X 0 X^0 X0处泰勒展开（对应式 ( 4 ) (4) (4)）
{ v 1 = e b 0 ⋅ δ a + a 0 e b 0 ⋅ δ b − ( f 1 − a 0 e b 0 ) v 2 = e 2 b 0 ⋅ δ a + 2 a 0 e 2 b 0 ⋅ δ b − ( f 2 − a 0 e 2 b 0 ) v 3 = e 3 b 0 ⋅ δ a + 3 a 0 e 3 b 0 ⋅ δ b − ( f 3 − a 0 e 3 b 0 ) v 4 = e 4 b 0 ⋅ δ a + 4 a 0 e 4 b 0 ⋅ δ b − ( f 4 − a 0 e 4 b 0 ) v 5 = e 5 b 0 ⋅ δ a + 5 a 0 e 5 b 0 ⋅ δ b − ( f 5 − a 0 e 5 b 0 ) (10) \begin{cases} v_1=e^{b^0}\cdot\delta a+a^0e^{b^0}\cdot\delta b-(f_1-a^0e^{b^0}) \\ v_2=e^{2b^0}\cdot\delta a+2a^0e^{2b^0}\cdot\delta b-(f_2-a^0e^{2b^0})\\ v_3=e^{3b^0}\cdot\delta a+3a^0e^{3b^0}\cdot\delta b-(f_3-a^0e^{3b^0})\\ v_4=e^{4b^0}\cdot\delta a+4a^0e^{4b^0}\cdot\delta b-(f_4-a^0e^{4b^0})\\ v_5=e^{5b^0}\cdot\delta a+5a^0e^{5b^0}\cdot\delta b-(f_5-a^0e^{5b^0})\\ \end{cases} \tag{10} ⎩⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎧v1=eb0⋅δa+a0eb0⋅δb−(f1−a0eb0)v2=e2b0⋅δa+2a0e2b0⋅δb−(f2−a0e2b0)v3=e3b0⋅δa+3a0e3b0⋅δb−(f3−a0e3b0)v4=e4b0⋅δa+4a0e4b0⋅δb−(f4−a0e4b0)v5=e5b0⋅δa+5a0e5b0⋅δb−(f5−a0e5b0)(10)
带入具体数据，则式 ( 10 ) (10) (10)可化为
V = ( 0.7408 4.0004 0.5488 5.9272 0.4066 6.5864 0.3012 6.5058 0.2231 6.0245 ) ( δ a δ b ) − ( 0.1996 0.2864 0.3245 0.3236 0.3051 ) V=\begin{pmatrix} 0.7408 & 4.0004 \\ 0.5488 & 5.9272 \\ 0.4066 & 6.5864\\ 0.3012 & 6.5058\\ 0.2231 & 6.0245\\ \end{pmatrix} \begin{pmatrix} \delta a\\ \delta b\\ \end{pmatrix}- \begin{pmatrix} 0.1996\\ 0.2864\\ 0.3245\\ 0.3236\\ 0.3051\\ \end{pmatrix} V=⎝⎜⎜⎜⎜⎛0.74080.54880.40660.30120.22314.00045.92726.58646.50586.0245⎠⎟⎟⎟⎟⎞(δaδb)−⎝⎜⎜⎜⎜⎛0.19960.28640.32450.32360.3051⎠⎟⎟⎟⎟⎞
那么，依式 ( 6 ) (6) (6)可解得
( δ a δ b ) = ( − 0.005858021 0.049953787 ) \begin{pmatrix} \delta a\\ \delta b\\ \end{pmatrix}= \begin{pmatrix} -0.005858021\\ 0.049953787\\ \end{pmatrix} (δaδb)=(−0.0058580210.049953787)
则未知参数最终估值为
( a ^ b ^ ) = ( a 0 b 0 ) + ( δ a δ b ) = ( 5.394141979 − 0.250246213 ) \begin{pmatrix} \hat{a}\\ \hat{b}\\ \end{pmatrix}= \begin{pmatrix} a^0\\ b^0\\ \end{pmatrix}+ \begin{pmatrix} \delta a\\ \delta b\\ \end{pmatrix}= \begin{pmatrix} 5.394141979\\ -0.250246213\\ \end{pmatrix} (a^b^)=(a0b0)+(δaδb)=(5.394141979−0.250246213)

因此，我们求得的非线性模型为 f ( x ) = 5.394141979 e − 0.250246213 x f(x)=5.394141979e^{-0.250246213x} f(x)=5.394141979e−0.250246213x。

非线性模型的最小二乘（LS）近似解相关推荐

递归最小二乘(RLS)算法详解
本文首发在我的个人博客:宅到没朋友,欢迎大家来玩! 代码下载链接在最下方! 1.最小二乘算法简介最小二乘算法基于确定性思想,该算法讨论怎样根据有限个观测数据来寻找滤波器的最优解,即求如下图这样具有M ...
有理谱估计的参数化方法
非参数化方法对研究的信号除了平稳性假设外没有作任何假设.参数化或基于模型的谱估计方法均假设信号满足函数形式已知的模型,然后对假设中模型的参数进行估计.从估计模型中可以获得感兴趣的信号谱特性.显然,当假 ...
Graph Signal Processing – Part II: Processing and Analyzing Signals on Graphs(文献翻译)
目录摘要 1.引言 2. 问题陈述:一个说明性的例子 3.图上的信号和系统 3.1 邻接矩阵与图信号移位 3.3 图离散傅里叶变换(GDFT) 3.4 在GDFT域图上的系统 3.5 邻接矩阵频谱域 ...
集成学习—GBDT（论文研读）
GBDT,全称为梯度提升决策树,即Gradient Boosting Decision Tree,它与Friedman等人的<Additive logistic regression: a st ...
矩阵计算在计算机科学中,开发者必读：计算机科学中的线性代数（附论文）
来源:机器之心作者:Petros Drineas.Michael W. Mahoney 本文共3994字,建议阅读6分钟.本文为你分享一篇来自普渡大学与UC Berkeley两位教授的概述论文中的线 ...
【今日CV 计算机视觉论文速览第132期】Tue, 18 Jun 2019
今日CS.CV 计算机视觉论文速览 Tue, 18 Jun 2019 Totally 64 papers ?上期速览✈更多精彩请移步主页 Interesting: ?****MMDetection, ...
【文献译文】OFDM Receiver Using Deep Learning: Redundancy Issues
基于深度学习的OFDM接收机:冗余问题摘要: 第一节导言第二节系统模型第三节最小冗余OFDM接收机 A CEsubnet B.SDMR-子网 2021 ieee会议摘要: 在正交频分复用 ...
【文献学习】 2021 Deep-Waveform: A Learned OFDM Receiver Based on Deep Complex Convolutional Networks
2018版 https://arxiv.org/abs/1810.07181 2018译文参考文章参考文章深波:一种基于深复卷积网络的学习OFDM接收机: V 结果评估 OFDM系统和衰落信道配 ...
用于射频功率放大器线性化的多查找表数字预失真
文章原名为:<Multi Look-Up Table DigitalPredistortion for RF PowerAmplifier Linearization>的博士论文自适应数 ...

非线性模型的最小二乘（LS）近似解