机器学习中的数学——单位矩阵和逆矩阵

线性代数提供了被称为矩阵逆的强大工具。对于大多数矩阵A，我们都能通过矩阵逆解析地求解方程组：
A x = b Ax=b Ax=b

为了描述矩阵逆，我们首先需要定义单位矩阵的概念。任意向量和单位矩阵相乘，都不会改变。我们将保持 n n n维向量不变的单位矩阵记作 I n I_n In形式上， I N ∈ R n × n I_N\in R^{n\times n} IN∈Rn×n：
∀ x ∈ R : I n x = x \forall x\in R:I_nx=x ∀x∈R:Inx=x

单位矩阵的结构很简单：所有沿主对角线的元素都是1，而所有其他位置的元素都是0：
[ 1 0 0 0 0 1 0 0 0 0 1 0 0 0 0 1 ] \begin{bmatrix} 1&0&0&0\\0&1&0&0\\0&0&1&0\\0&0&0&1\end{bmatrix} ⎣⎢⎢⎡1000010000100001⎦⎥⎥⎤

矩阵 A A A的矩阵逆记作 A − 1 A^{-1} A−1，其定义的矩阵满足如下条件：
A A − 1 = I n AA^{-1}=I_n AA−1=In

所以对于方程组 A x = b Ax=b Ax=b我们可以得到 x x x的解析解：
A x = b ⇒ A − 1 A x = A − 1 b ⇒ I n x = A − 1 b ⇒ x = A − 1 b \begin{aligned} &Ax=b\\ \Rightarrow\quad&A^{-1}Ax=A^{-1}b\\ \Rightarrow\quad&I_nx=A^{-1}b\\ \Rightarrow\quad&x=A^{-1}b\\ \end{aligned} ⇒⇒⇒Ax=bA−1Ax=A−1bInx=A−1bx=A−1b

当然，这取决于我们能否找到一个逆矩阵 A − 1 A^{-1} A−1。在后续的文章中，我们会讨论逆矩阵 A − 1 A^{-1} A−1存在的条件。当逆矩阵 A − 1 A^{-1} A−1存在时，有几种不同的算法都能找到它的闭解形式。理论上，相同的逆矩阵可用于多次求解不同向量 b b b的方程。然而，逆矩阵 A − 1 A^{-1} A−1主要是作为理论工具使用的，并不会在大多数软件应用程序中实际使用。这是因为逆矩阵 A − 1 A^{-1} A−1在数字计算机上只能表现出有限的精度，有效使用向量 b b b的算法通常可以得到更精确的 x x x。

机器学习中的数学——单位矩阵和逆矩阵相关推荐

机器学习中的数学（上）
上篇博文介绍了<机器学习之支持向量机>后发现利用到了梯度.凸优化.拉格朗日对偶性等数学问题.而且凸优化是本科非数学专业学不到的科目,所以这篇博文就要和大家分享一下机器学习中常用的数学概 ...
机器学习中的数学——距离定义（六）：马氏距离（Mahalanobis Distance）
分类目录:<机器学习中的数学>总目录相关文章: · 距离定义:基础知识 · 距离定义(一):欧几里得距离(Euclidean Distance) · 距离定义(二):曼哈顿距离(Manh ...
机器学习中的数学(四)--线性代数
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学(三)--牛顿法
写在前面 <机器学习中的数学>系列主要列举了在机器学习中用到的较多的数学知识,包括微积分,线性代数,概率统计,信息论以及凸优化等等.本系列重在描述基本概念,并不在应用的方面的做深入的探讨, ...
机器学习中的数学——拟牛顿法（Quasi-Newton Methods）
分类目录:<机器学习中的数学>总目录相关文章: · 梯度下降法(Gradient Descent) · 随机梯度下降(Stochastic Gradient Descent, SGD) ...
机器学习中的数学人工智能深度学习技术丛书
作者:孙博著出版社:中国水利水电出版社品牌:智博尚书出版时间:2019-11-01 机器学习中的数学人工智能深度学习技术丛书 ISBN:9787517077190
机器学习中的数学：一份新鲜出炉的热门草稿
来源:机器之心本文约1500字,建议阅读5分钟. 本文为你分享近日<Mathematics for Machine Learning>的全部草稿已放出,我们整理了这本书的简要概述. 近日 ...
机器学习中的数学知识(part4)--拟牛顿法
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识拟牛顿法面临的问题(局部极小/鞍点) 机器学习中的数学知识拟牛顿法
机器学习中的数学知识(part3)--凸优化
学习笔记,仅供参考,有错必究文章目录机器学习中的数学知识凸优化非凸优化机器学习中的数学知识凸优化下面是实际问题中常见的凸集,记住它们对理解后面的算法非常有帮助. n n

机器学习中的数学——单位矩阵和逆矩阵

机器学习中的数学——单位矩阵和逆矩阵相关推荐

最新文章

热门文章