最优化基础理论和知识——1.2&&1.3一部分

在考虑最优化问题时，往往需要用到点列和极限的概念，点是代数中线性空间的元素，极限依赖于点与点的距离，距离又与欧式空间有关。所以从三个概念出发。

1.1线性空间

向量空间亦称线性空间。它是线性代数的中心内容和基本概念之一。设V是一个非空集合，P是一个域。若：

1.在V中定义了一种运算，称为加法，即对V中任意两个元素α与β都按某一法则对应于V内惟一确定的一个元素α+β，称为α与β的和。 [2]

2.在P与V的元素间定义了一种运算，称为纯量乘法(亦称数量乘法)，即对V中任意元素α和P中任意元素k，都按某一法则对应V内惟一确定的一个元素kα，称为k与α的积。

3.加法与纯量乘法满足以下条件：

\1) α+β=β+α，对任意α，β∈V.

\2) α+(β+γ)=(α+β)+γ，对任意α，β，γ∈V.

\3) 存在一个元素0∈V，对一切α∈V有α+0=α，元素0称为V的零元.

\4) 对任一α∈V，都存在β∈V使α+β=0，β称为α的负元素，记为-α.

\5) 对P中单位元1，有1α=α(α∈V).

\6) 对任意k，l∈P，α∈V有(kl)α=k(lα).

\7) 对任意k，l∈P，α∈V有(k+l)α=kα+lα.

\8) 对任意k∈P，α，β∈V有k(α+β)=kα+kβ，

则称V为域P上的一个线性空间，或向量空间。V中元素称为向量，V的零元称为零向量，P称为线性空间的基域.当P是实数域时，V称为实线性空间.当P是复数域时，V称为复线性空间。例如，若V为三维几何空间中全体向量(有向线段)构成的集合，P为实数域R，则V关于向量加法(即平行四边形法则)和数与向量的乘法构成实数域R上的线性空间。又如，若V为数域P上全体m×n矩阵组成的集合Mmn§，V的加法与纯量乘法分别为矩阵的加法和数与矩阵的乘法，则Mmn§是数域P上的线性空间.V中向量就是m×n矩阵。再如，域P上所有n元向量(a1，a2，…，an)构成的集合P对于加法：(a1，a2，…，an)+(b1，b2，…，bn)=(a1+b1，a2+b2，…，an+bn)与纯量乘法：λ(a1，a2，…，an)=(λa1，λa2，…，λan)构成域P上的线性空间，称为域P上n元向量空间。

1.2Euclid空间（欧式空间）

所谓欧式空间，就是在线性空间上定义一个度量，对于n维欧式空间（
记为Rn记为R^n 记为Rn
）

向量x与y的内积定义为
<x,y>=∑i=1nxiyi=xTy<x,y>=\sum_{i=1}^{n}x_iy_i=x^Ty <x,y>=i=1∑nxiyi=xTy
n维欧式空间
RnR^n Rn
上的范数定义为
∣∣x∣∣=(∑i=1nxi2)12||x||=(\sum_{i=1}^nx_i^2)^{\frac{1}{2}} ∣∣x∣∣=(i=1∑nxi2)21

1.3矩阵

这个概念大家可以自行百度去了，这个概念比较简单。

1.4Hesse矩阵

这个概念大家可以自行百度求解，我主要讲解下面的二次函数的解答。

1.5二次函数

f(x)=xTAx+bTx+cf(x)=x^TAx+b^Tx+c f(x)=xTAx+bTx+c

的梯度和hesse矩阵。

因此求解。