内积空间，赋范空间和Hilbert空间

引言：

我们通常说某某某，不加定义的说一些事情是因为我们之间约定俗成了一些背景、一些底色。比方说：“人总有一死，或重于泰山，或轻于鸿毛”，这句话之所以成立，是因为在现阶段，我们基于对过去历史的总结和对于世间万物的观察所得出的结论，这其实就是我们说那句话的背景或者是底色。
但是游戏中的人就不是人吗，他能被虚拟世界创造出来，他能在虚拟世界中生长，他可以说话，他可以战斗，他可以喜怒哀乐，他也可能由于种种原因而死去，从而我们可以认为他就是虚拟世界中的人。
以上我们不难发现，肉体人和虚拟人同样是人，只是这两类人在不同的环境或背景设置中，理解这一点很重要，因为我们讨论问题时，总是要明白话题的背景或边界在哪，不明白这个底色就去讨论，意义不大，因为某件事成立总是有范围的，脱离范围去应用很可能会失败。

Cauchy序列（Cauchy sequence）

以下描述来自链接：wangxiaojun911的描述，该博主描述的很好，咱就借用下，部分地方略有改动，请博主谅解。

一组数列由无穷多个元素组成，每个元素都有一个唯一的序号。柯西序列是这样一组数列，它的元素随着序号增加而接近，即最终收敛。

给定一个数列，如何判断它是否是柯西序列？方法是先去掉前NNN个元素（NNN是有限的数），再看剩下的元素有没有这样一种规律：任何两个元素之差不大于任意指定的正数。

这种序列有无穷多个元素，我们可以举一个具体的例子。比如一个序列：{X1,X2,X3,⋯ }\left\{X_1,X_2,X_3,\cdots\right\}{X1,X2,X3,⋯}其中X1=1,Xn+1=Xn2+1XnX_1=1,X_{n+1}=\frac{X_n}{2}+\frac{1}{X_n}X1=1,Xn+1=2Xn+Xn1这个序列其实是：{1,32,1712,⋯ }\left\{1,\frac{3}{2},\frac{17}{12},\cdots\right\}{1,23,1217,⋯}。可以证明这个数列最后收敛到一个无理数：2\sqrt 22。既然它收敛于某个具体的数（2\sqrt 22），那么当我们去掉有限个数之后，剩下的数都无穷接近于2\sqrt 22，当然任何两个元素之差不大于任意正数，于是能确定这是柯西序列。

我们可知，柯西序列的定义有赖于如何定义距离。在上述例子里，我们把两个数之差定义为它们的距离，当然距离还有其他的定义方法。只有定义了距离，柯西序列才有意义。换句话说，只有在度量空间中柯西序列才有意义。

柯西序列的重要作用是定义“完备空间”。完备空间是指一种度量空间，它的所有柯西序列（如果有的话），都收敛在这个空间自己里面。有一种直观的形容方法就是完备空间“没有孔”（内部不缺点），“不缺皮”（边界不缺点），从这一点上讲，一个空间完备同一个集合的闭包是类似的。这一类似还体现在以下定理中：完备空间的闭子集是完备的。完备空间在数学分析里面有重大作用。

作者：wangxiaojun911
来源：CSDN
原文：https://blog.csdn.net/wangxiaojun911/article/details/6205569

内积空间

简言之，内积空间就是给定一种符合内积定义的三条公理的映射函数来定义此空间的内积规则的向量空间。
再简言之，就是对于某向量空间定义了某种称之为起内积作用的映射函数的向量空间。

定义：若对所有x,y,z∈V\bm x,\bm y,\bm z\in Vx,y,z∈V和α,β∈K\alpha,\beta\in \mathbb Kα,β∈K，映射函数⟨⋅,⋅⟩:V×V↦K\langle·,·\rangle:V\times V\mapsto\mathbb K⟨⋅,⋅⟩:V×V↦K满足以下三条公理：

共轭对称性：⟨x,y⟩=⟨y,x⟩∗\langle\bm x,\bm y\rangle=\langle\bm y,\bm x\rangle^*⟨x,y⟩=⟨y,x⟩∗；
第一变元的线性性：⟨αx+βy,z⟩=α⟨x,z⟩+β⟨y,z⟩\langle\alpha\bm x+\beta\bm y,\bm z\rangle=\alpha\langle\bm x,\bm z\rangle+\beta\langle\bm y,\bm z\rangle⟨αx+βy,z⟩=α⟨x,z⟩+β⟨y,z⟩；
非负性：⟨x,x⟩≥0\langle\bm x,\bm x\rangle\geq0⟨x,x⟩≥0，并且⟨x,x⟩=0⇔x=0\langle\bm x,\bm x\rangle=0\Leftrightarrow\bm x=\bm 0⟨x,x⟩=0⇔x=0

则称⟨x,y⟩\langle\bm x,\bm y\rangle⟨x,y⟩为向量x\bm xx与y\bm yy的内积，VVV为内积向量空间。
两个向量之间的内积可以度量他们之间的夹角：cos⁡θ=⟨x,y⟩⟨x,x⟩⟨y,y⟩\cos \theta=\frac{\langle\bm x,\bm y\rangle}{\sqrt{\langle\bm x,\bm x\rangle}\sqrt{\langle\bm y,\bm y\rangle}}cosθ=⟨x,x⟩⟨y,y⟩⟨x,y⟩
所以一定要明白，满足定义里面规则的映射函数都可以称之为内积。

赋范向量空间

通俗的理解，就是指定一种范数类型给该向量空间。
满足下面三条公理的p(x)p(\bm x)p(x)映射函数都可以称为向量空间VVV的范数：

非负性：p(x)≥0,并且p(x)=0⇔x=0p(\bm x)\geq0,并且p(\bm x)=0\Leftrightarrow \bm x=\bm 0p(x)≥0,并且p(x)=0⇔x=0；
齐次性：p(cx)=∣c∣p(x)p(c\bm x)=|c|p(\bm x)p(cx)=∣c∣p(x)对所有的复数ccc成立；
三角不等式：p(x+y)≤p(x)+p(y)p(\bm x+\bm y)\leq p(\bm x)+p(\bm y)p(x+y)≤p(x)+p(y)。

并称VVV为赋范向量空间（normed vector space）。

Euclidean范数

最常用的的向量范数为Euclidean范数或者L2L_2L2范数，计作∣∣⋅∣∣2||·||_2∣∣⋅∣∣2，定义为∣∣x∣∣E=∣∣x∣∣2=x12+⋯+xm2||\bm x||_E=||\bm x||_2=\sqrt{x_1^2+\cdots+x_m^2}∣∣x∣∣E=∣∣x∣∣2=x12+⋯+xm2 L2L_2L2范数可以直接度量一个向量x\bm xx的长度size(x)=∣∣x∣∣2size(\bm x)=||\bm x||_2size(x)=∣∣x∣∣2，两个向量之间的距离d(x,y)=∣∣x−y∣∣2d(\bm x,\bm y)=||\bm x-\bm y||_2d(x,y)=∣∣x−y∣∣2以及一个向量的ϵ\epsilonϵ邻域(其中ϵ>0\epsilon>0ϵ>0) Nϵ(x)={y∣∣∣y−x∣∣2≤ϵ}N_\epsilon(\bm x)=\{\bm y|\ ||\bm y-\bm x||_2\leq\epsilon\}Nϵ(x)={y∣ ∣∣y−x∣∣2≤ϵ}
- nnn阶复向量x=[x1,⋯ ,xn]T,y=[y1,⋯ ,yn]T\bm x=[x_1,\cdots,x_n]^T,\bm y=[y_1,\cdots,y_n]^Tx=[x1,⋯,xn]T,y=[y1,⋯,yn]T之间的内积 ⟨x,y⟩=xHy=∑i=1nxi∗yi\langle\bm x,\bm y\rangle=\bm x^H\bm y=\sum^n_{i=1}x_i^*y_i⟨x,y⟩=xHy=i=1∑nxi∗yi称为典范内积。采用典范内积的有限维向量空间Rn\mathbb R^nRn或者Cn\mathbb C^nCn习惯上称为nnn阶Euclidean空间或者Euclidean nnn空间。（请注意：是采用典范内积的向量空间才称为Euclidean空间）

酋不变性

若∣∣Ux∣∣=∣∣x∣∣||\bm U\bm x||=||\bm x||∣∣Ux∣∣=∣∣x∣∣对所有向量x∈Cm\bm x\in\mathbb C^{m}x∈Cm和所有的酋矩阵U∈Cm×m\bm U\in\mathbb C^{m\times m}U∈Cm×m恒成立，则称范数∣∣x∣∣||\bm x||∣∣x∣∣是酋不变的。其中，酋矩阵UH=U−1\bm U^H=\bm U^{-1}UH=U−1
Euclidean范数是酋不变的。
证明：显然，Ux\bm U\bm xUx是一个向量，则Ux\bm U\bm xUx向量的典范内积为∣∣Ux∣∣22=(Ux)HUx=xHUHUx||\bm U\bm x||_2^2=(\bm U\bm x)^H\bm U\bm x=\bm x^H\bm U^H\bm U\bm x∣∣Ux∣∣22=(Ux)HUx=xHUHUx，因为U\bm UU是单位标准正交向量，即UHU=I\bm U^H\bm U=\bm IUHU=I，故xHUHUx=xHx=∣∣x∣∣22\bm x^H\bm U^H\bm U\bm x=\bm x^H\bm x=||\bm x||^2_2xHUHUx=xHx=∣∣x∣∣22，故Euclidean范数是酋不变范数。

完备性和Hilbert空间

完备性

若对于向量空间VVV中的每一个Cauchy序列{vn}n=1∞⊂V\{\bm v_n\}^\infty_{n=1}\subset V{vn}n=1∞⊂V，在向量空间VVV内存在一个元素v\bm vv，使得limn→∞vn→n\underset{n\to\infty}{\rm lim}\bm v_n\to\bm nn→∞limvn→n，即VVV内的每一个Cauchy序列都收敛（convergence）在向量空间VVV内，则称向量空间VVV为完备向量空间。
特别地，多对于每一个Cauchy序列{vn}n=1∞⊂V\{\bm v_n\}^\infty_{n=1}\subset V{vn}n=1∞⊂V，在VVV内存在一个元素v\bm vv，使得依范数收敛limn→∞∣∣vn∣∣→∣∣n∣∣\underset{n\to\infty}{\rm lim}||\bm v_n||\to||\bm n||n→∞lim∣∣vn∣∣→∣∣n∣∣满足，则称向量空间VVV为相对于范数完备的向量空间。

注意，以上定义中，向量空间VVV首先是赋范向量空间。

Banach空间

若对于赋范向量空间VVV中的每一个Cauchy序列{vn}n=1∞⊂V\{\bm v_n\}^\infty_{n=1}\subset V{vn}n=1∞⊂V，在向量空间VVV内存在一个元素v\bm vv，使得limn→∞vn→n\underset{n\to\infty}{\rm lim}\bm v_n\to\bm nn→∞limvn→n，则称赋范向量空间VVV为Banach空间。

一个有限维的赋范线性向量空间一定是Banach空间，因为他会自动满足Cauchy序列的收敛条件。

Hilbert空间

一个相对于范数完备即满足范数收敛limn→∞∣∣vn∣∣→∣∣n∣∣\underset{n\to\infty}{\rm lim}||\bm v_n||\to||\bm n||n→∞lim∣∣vn∣∣→∣∣n∣∣的赋范向量空间VVV称为Hilbert空间。
以下存疑：
显然，一个Hilbert空间一定是Banach空间，但是一个Banach空间不一定是Hilbert空间。这是因为，范数收敛一定满足极限收敛，但是极限收敛不一定范数收敛，因为范数的定义方式很多。