思考这样一个问题，令S为一个希尔伯特空间，而 $\tau$ 空间S的一个子空间

当我们给定了 $x\in S$ ，如何求最近 $\tau$ 上距离x最近的点。

则我们用数学语言表示该问题为一个优化问题：

$\min \left \| x-y \right \|\quad y\in \tau$

该问题的解可以直接通过一个定理给出，即正交性定理（orthogonality principle）

Orthogonality Principle

定理描述如下：

令S为一个希尔伯特空间，而 $\tau$ 空间S的一个子空间，当我们给定任意的 $x\in S$ ，

1. 一定存在一个唯一的点 $\hat{x}\in \tau$ 遵循： $x-\hat{x}\perp \tau$

2. 满足1的这个点 $\hat{x}$ 是该优化问题的唯一解

接下来我们将分两部分证明上述定理，第一部分先证明满足1的解一定是问题的解，第二部分则会给出解的具体表达式以及唯一性的证明

Part I

由定理第一条我们有： $\left \langle x-\hat{x},y \right \rangle=0$ 对于任何 $\tau$ 中元素都成立

$\left \| x-y \right \|^{2}=\left \| (x-\hat{x}-(y-\hat{x})) \right \|^2=\left \| x-\hat{x} \right \|^2+\left \| y-\hat{x} \right \|^2$

（其中第二个等式是因为 $y-\hat{x}$ 也在空间 $\tau$ 中，所以内积为0

所以显然： $\left \| x-y \right \|^{2}\geq \left \| x-\hat{x} \right \|^2$ ，当 $y=\hat{x}$ 时等号成立，因此这也就证明了满足定理第一条的解一定时优化问题的解。

Part II

这一部分我们将给出解的计算方法，并通过解析表达式来去说明解是唯一的

现在假设 $\tau$ 的一组基底为 $v_1,v_2,...v_N$ ，那么解则可以表示为：

$\hat{x}=a_1v_1+a_2v_2+...+a_Nv_N$

则有：

$\left \langle x-\sum_{k=1}^{N}a_kv_k ,v_n\right \rangle=0\rightarrow \left \langle x,v_n \right \rangle=\sum_{k=1}^{N}a_k\left \langle v_k,v_n \right \rangle$

求解ak，我们则可以通过线性代数的知识进行直接求解，首先我们把上述等式表示为矩阵的形式：

左边的矩阵叫做基底vn的Gram矩阵，记作G，我们将右边的矩阵记为b

因为所有基底全部是线性无关的，所以G可逆，进而我们可以直接写出a的表达式：

$a=G^{-1}b$

并且由于G是可逆的，自然a只存在唯一解

以上

机器学习的数学基础（3）：正交性原理（orthogonality principle）相关推荐

机器学习理论引导电子版_机器学习理论篇1：机器学习的数学基础（2）
本节主要就是讲述的机器学习的数学基础,提到数学基础,可能一眼就会是满眼的枯燥.没意思,但是成就英雄的路上注定了孤独,要想要真正的在学术上有所突破就必须挨得住寂寞,受得住孤独,才能真正的走进熟悉直到完全 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（20）：用配方法化二次型为标准形
目录前言往期文章 5.6 用配方法化二次型为标准形题目一题目二结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- 自我介绍 ଘ(੭ˊᵕˋ)੭ ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（21）：正定二次型
目录前言往期文章 5.7 正定二次型定理9:惯性定理定义10 定理10 推论定理11:赫尔维茨定理举例例17 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（26）：线性变换的矩阵表达式
目录前言往期文章 6.5 线性变换的矩阵表达式定义6 定理2 定义7 举例例11 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- 自我介绍 ...
【机器学习的数学基础】（四）解析几何(Analytic Geometry)（上）
文章目录 3 解析几何(Analytic Geometry)(上) 3.1 范数 3.2 内积 3.2.1 点积 3.2.2 一般内积 3.2.3 对称正定矩阵 3.3 长度和距离 3.4 角度和正交 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（19）：二次型及其标准形
目录前言往期文章 5.5 二次型及其标准形定义8:二次型定义9:合同定理8 推论举例例14 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（23）：维数、基与坐标
目录前言往期文章 6.2 维数.基与坐标定义2 定义3 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- 自我介绍 ଘ(੭ˊᵕˋ)੭ 昵称:海轰 ...
【机器学习｜数学基础】Mathematics for Machine Learning系列之线性代数（25）：线性变换
目录前言往期文章 6.4 线性变换定义4 定义5:线性变换举例例10 结语前言 Hello!小伙伴! 非常感谢您阅读海轰的文章,倘若文中有错误的地方,欢迎您指出- 自我介绍 ଘ(੭ˊᵕ ...
有人把机器学习的数学基础整理成了专辑（附下载）
来源:机器学习初学者本文约2600字,建议阅读6分钟. 本文推荐一份机器学习初学者专辑. 公众号(DatapiTHU)后台回复"20200706"获取专辑下载机器学习,需要一定 ...
机器学习的数学基础 - 信息论
机器学习的数学基础 - 信息论信息论信息论本来是通信中的概念,但是其核心思想"熵"在机器学习中也得到了广泛的应用.比如决策树模型ID3,C4.5中是利用信息增益来划分特征而 ...

机器学习的数学基础（3）：正交性原理（orthogonality principle）

Orthogonality Principle

Part I

Part II

机器学习的数学基础（3）：正交性原理（orthogonality principle）相关推荐

最新文章

热门文章