通过把矩阵运算分解成多个矩阵的乘法，可以简化矩阵运算，也可发现对应线性变换的一些内在规律和特性。根据不同的目的，有不同的分解策略。本文我们讨论最常用的特征值分解和奇异值分解。

1. 矩阵的乘方运算

定义了矩阵的加、减、乘、除（逆）运算后，数学家们自然希望探索矩阵更多的计算技巧。其中，矩阵的乘方运算 A n A^n An （ A A A 是方阵）成为一个引人注目的目标。例如，在离散系统动力学这类应用中，需要经常研究下述计算：
x n = A x n − 1 = A n x 0 \bm{x}_n=A\bm x_{n-1}=A^n\bm x_0 xn=Axn−1=Anx0

2. 特征值分解

矩阵的特征值分解可以解决矩阵的乘方问题，最关键的公式如下：
A = P D P − 1 A=PDP^{-1} A=PDP−1
有了特征值分解，矩阵乘方的计算可以大大简化，参见下面公式：
A n = ( P D P − 1 ) n = P D n P − 1 A^n=(PDP^{-1})^n=PD^nP^{-1} An=(PDP−1)n=PDnP−1
特征值矩阵 D D D 是对角矩阵，乘方运算特别简单：
D n = [ λ 1 n . . . λ m n ] D^n=\left[ \begin{matrix} \lambda_1^n&&\\ &...&\\ &&\lambda_m^n \end{matrix} \right] Dn= λ1n...λmn
于是，矩阵乘方问题得以解决。

3. 伪逆矩阵

满秩方阵是可以求逆的。奇异矩阵（不满秩方阵）和非方阵能否实现逆运算？具体一点，如果
y = A x \bm y = A \bm x y=Ax
是否存在矩阵 A + A^+ A+，使得
x = A + y \bm x = A^+ \bm y x=A+y
这里， A + A^+ A+ 称为伪逆矩阵。

4. 对称矩阵

A A A 可能不是方阵，但 A A T AA^T AAT 或 A T A A^TA ATA 都是方阵，而且还是对称矩阵。通过对矩阵 A A T AA^T AAT 或 A T A A^TA ATA 做特征值分解，可巧妙地解决伪逆矩阵的求法问题。不过先不要着急，我们介绍对称矩阵一个很重要的性质：对称矩阵的特征向量是相互正交的。 这一结论证明如下：

假设 A T = A A^T=A AT=A，其特征值 λ 1 , λ 2 \lambda_1, \lambda_2 λ1,λ2 对应的特征向量为 x 1 , x 2 \bm x_1, \bm x_2 x1,x2，于是：
λ 1 x 1 ⋅ x 2 = ( λ 1 x 1 ) T x 2 = ( A x 1 ) T x 2 = x 1 T A T x 2 = x 1 T A x 2 = x 1 T λ 2 x 2 = λ 2 x 1 T x 2 = λ 2 x 1 ⋅ x 2 \begin{array}{lll} \lambda_1\bm x_1 \cdot \bm x_2 & = & (\lambda_1\bm x_1)^T\bm x_2\\ & = &(A\bm x_1)^T\bm x_2\\ &=& \bm x_1^TA^T\bm x_2\\ &=& \bm x_1^TA\bm x_2\\ &=& \bm x_1^T\lambda_2\bm x_2\\ &=&\lambda_2\bm x_1^T\bm x_2\\ &=&\lambda_2\bm x_1\cdot\bm x_2 \end{array} λ1x1⋅x2=======(λ1x1)Tx2(Ax1)Tx2x1TATx2x1TAx2x1Tλ2x2λ2x1Tx2λ2x1⋅x2
由于 λ 1 ≠ λ 2 \lambda_1 \neq \lambda_2 λ1=λ2，于是，
x 1 ⋅ x 2 = 0 \bm x_1 \cdot \bm x_2 = 0 x1⋅x2=0

5. 正交矩阵

因此，矩阵 A A T AA^T AAT 或 A T A A^TA ATA 的特征向量矩阵是正交矩阵。关于正交矩阵，有如下重要性质：

假设 P P P 是正交矩阵，则：
P P T = I PP^T=I PPT=I
于是，得到
P − 1 = P T P^{-1}=P^T P−1=PT

6. A A T AA^T AAT 的特征值分解

接下来有好戏看了，我们来分解一下 A A T AA^T AAT：
A A T = P D P − 1 = P D P T AA^T=PDP^{-1}=PDP^T AAT=PDP−1=PDPT
其中， D D D 是特征值矩阵，也是一个对角矩阵， P P P 则是一个正交矩阵。上面的这个公式在强烈地提醒我们，矩阵 A A A 大概可以分解成下面的形式：
A = P S Q A=PSQ A=PSQ
其中 S S S 是对角矩阵， P P P 是 m × m m \times m m×m 正交矩阵， Q Q Q 是 n × n n\times n n×n 正交矩阵。如果真的如此的话，下面的公式应该成立：
A A T = ( P S Q ) ( P S Q ) T = P S Q Q T S T P T = P S 2 P T AA^T=(PSQ)(PSQ)^T=PSQQ^TS^TP^T=PS^2P^T AAT=(PSQ)(PSQ)T=PSQQTSTPT=PS2PT
豁然开朗，原来对角矩阵 S S S 是特征值矩阵 D D D 的平方根，对角线上的这些非零数值就是所谓的奇异值。 S S S 和 P P P 求出来后， Q Q Q 可以如下求解：
A = P S Q Q = S − 1 P T A = S − 1 P T A A=PSQ\\ Q=S^{-1}P^TA=S^{-1}P^TA A=PSQQ=S−1PTA=S−1PTA
另外， Q Q Q 是正交矩阵，原因如下：
Q Q T = ( S − 1 P T A ) ( S − 1 P T A ) T = S − 1 P T A A T P S − 1 = S − 1 P T P D P T P S − 1 = S − 1 D S − 1 = S − 1 S S S − 1 = I \begin{array}{lll} QQ^T&=&(S^{-1}P^TA)(S^{-1}P^TA)^T\\ &=&S^{-1}P^TAA^TPS^{-1}\\ &=&S^{-1}P^TPDP^TPS^{-1}\\ &=&S^{-1}DS^{-1}\\ &=&S^{-1}SSS^{-1}\\ &=&I \end{array} QQT======(S−1PTA)(S−1PTA)TS−1PTAATPS−1S−1PTPDPTPS−1S−1DS−1S−1SSS−1I
于是，我们得到一般性的结论，奇异值分解对任何矩阵都有效，甚至适用于非方阵。

7. 奇异值分解

根据前面的分析，假设矩阵 A A A 是 m × n ( m ≠ n ) m \times n (m \neq n) m×n(m=n)，我们可以将矩阵 A A A 分解如下。
A = U Σ V T A=U\Sigma V^T A=UΣVT

U U U是一个正交矩阵 ( m × m ) (m \times m) (m×m)
Σ \Sigma Σ 是一个对角线矩阵 ( m × n ) (m \times n) (m×n)
V V V 是一个正交矩阵 ( n × n ) (n \times n) (n×n)。

这就是矩阵的奇异值分解。矩阵 A A A 的奇异值实际上就是 A A T AA^T AAT 的特征值的平方根。

8. 求伪逆矩阵

有了前面的基础，终于可以求伪逆矩阵了。定义矩阵 A A A 的伪逆矩阵 A + A^+ A+ 如下：
A = U Σ V T A + = V D + U T A=U\Sigma V^T\\ A^+=VD^+U^T A=UΣVTA+=VD+UT

假设 Σ \Sigma Σ 的定义如下：

Σ = [ σ 1 σ 2 . . . σ s 0 . . . 0 ] \Sigma= \left[ \begin{matrix} \sigma_1&&&&&&\\ &\sigma_2&&&&&\\ &&...&&&&&\\ &&&\sigma_s&&&\\ &&&&0&&&\\ &&&&&...&\\ &&&&&&0 \end{matrix} \right] Σ= σ1σ2...σs0...0

那么D+的定义如下：
D + = [ 1 σ 1 1 σ 2 . . . 1 σ s 0 . . . 0 ] D^+= \left[ \begin{matrix} \frac1{\sigma_1}&&&&&&\\ &\frac1{\sigma_2}&&&&&\\ &&...&&&&&\\ &&&\frac1{\sigma_s}&&&\\ &&&&0&&&\\ &&&&&...&\\ &&&&&&0 \end{matrix} \right] D+= σ11σ21...σs10...0
我们计算 A + A A^+A A+A ：

A + A = ( V D + U T ) ( U Σ V T ) = V D Σ V T N o t e : D + Σ = I = V V T = I \begin{array}{ccl} A^+A&=&(VD^+U^T)(U\Sigma V^T)\\ &=&VD\Sigma V^T & Note: D^+\Sigma = I\\ &=&VV^T\\ &=&I \end{array} A+A====(VD+UT)(UΣVT)VDΣVTVVTINote:D+Σ=I

以同样的方式， A A + = I AA^+ = I AA+=I。
综上所述，如果我们能够对矩阵 A A A 进行奇异值分解，我们就可以通过 V D + U T VD^+U^T VD+UT 来计算 A + A^+ A+，这是一个 A A A 的伪逆矩阵。

一分钟读懂：矩阵的特征值分解、奇异值分解和伪逆矩阵相关推荐

一分钟读懂低功耗蓝牙连接数据包
一分钟读懂低功耗蓝牙(BLE)连接数据包 1.概述 BLE 连接过程中有三个重要的数据包:SCAN_REQ, SCAN_RSP 和 CONNECT_REQ. SCAN_REQ: 扫描请求, ...
蓝牙广播数据包_一分钟读懂低功耗蓝牙（BLE)广播数据包
一分钟读懂低功耗蓝牙(BLE)广播数据包低功耗蓝牙 => BLE (Bluetooth Low Energy) 1. 怎样抓取BLE广播数据包 * 硬件:一个BLE设备(具有广播功能): 一台 ...
Vue安装与IDE HBuilder安装（一分钟读懂）
Vue安装与IDE安装(一分钟读懂) 官网下载IDE HBuilder 解压该文件后,打开官网下载vue.js 创建demo文件夹,把vue.js放进这里面并且创建index.html文件然后把这 ...
python高阶函数（三分钟读懂）
python高阶函数(三分钟读懂) 函数式编程 Python中,函数是一等对象一等对象:具有特点 ① 对象是在运行时创建的 ② 能赋值给变量或作为数据结构中的元素 ③ 能作为参数传递 ④ 能作为返回 ...
【转】一分钟读懂互联网广告竞价策略GFP+GSP+VCG
参考这篇文章: http://ju.outofmemory.cn/entry/116780 一分钟读懂互联网广告竞价策略GFP+GSP+VCG 两个广告位,三家广告主竞价,广告平台究竟应该制定广告竞价 ...
三分钟读懂新一代人工智能——ChatGPT
2022年以来,AI开始在很多贴近消费者的领域发挥越来越大的作用,之前我写过一篇文章<一分钟学会AI绘画和创作>,很多朋友纷纷尝鲜. 最近一个月以来,OpenAI公司推出的智能机器人Cha ...
【光剑藏书轩2021】5分钟读懂《贫穷的本质》：“穷人通常缺少信息来源”
5分钟读懂<贫穷的本质> <贫穷的本质:我们为什么摆脱不了贫穷>是2013年中信出版社出版的图书,作者是阿比吉特·班纳吉 (Abhijit V.Banerjee)与埃斯特·迪弗 ...
一分钟读懂互联网广告竞价策略
一分钟读懂互联网广告竞价策略GFP+GSP+VCG 两个广告位,三家广告主竞价,广告平台究竟应该制定广告竞价策略呢?这是本文即将分享的一个问题. 一.前序知识-传统竞价策略英式拍卖(English ...
centos 删除文件夹_手机文件夹是英文，占空间还不敢乱删？花一分钟读懂手机语言...
不少人肯定发现,自己的手机里面有一些莫名其妙的文件夹,占据内存空间.且占据很大,想删除,但全部是由英文标注,不知道从何删起. 今天小兰就来帮助大家决绝这么问题,一分钟教你读懂这些手机语言,快速清理手机 ...

一分钟读懂：矩阵的特征值分解、奇异值分解和伪逆矩阵