前言

本篇开始学习记录矩阵分解内容。需要说明的是，目前我所触及的矩阵基本上没有出现复数域，因此所做的讨论都局限于实矩阵分析。

特征分解（又称谱分解、对角化）

当n阶方阵AAA具有n个线性无关的特征向量时，可以将AAA特征分解为可逆矩阵与对角矩阵的乘积：
A=PΛP−1A=P\Lambda P^{-1} A=PΛP−1
其中，PPP是对应于Λ\LambdaΛ主对角特征值的特征向量组。特征分解的方法可能不唯一。

此外，如果AAA是实对称矩阵，则必然存在正交矩阵QQQ使得A=QΛQTA=Q\Lambda Q^TA=QΛQT。

奇异值分解SVD

特征分解不仅要求矩阵是方阵，而且方阵的线性无关的特征向量要与阶数相同。而数值计算中许多线性方程都不适定，矩阵行列数不一致。奇异值分解SVD弥补了这个缺陷。

对于任意矩阵A∈Rm×nA\in R^{m\times n}A∈Rm×n，都可以进行进行奇异值分解A=UΣVTA=U\Sigma V^TA=UΣVT，其中U,VU,VU,V是正交矩阵，Σ\SigmaΣ是半正定对角矩阵，主对角元素包含大于0的奇异值和0。

奇异值
对于矩阵A∈Rm×nA\in R^{m\times n}A∈Rm×n，其奇异值是ATAA^TAATA的特征值的算术平方根λ\sqrt{\lambda}λ，通常将奇异值从大到小进行排列。

奇异值分解
由SVD式可得到ATAA^TAATA和AATAA^TAAT：
ATA=VΣTUTUΣVT=VΣ2VTAAT=UΣVTVΣTUT=UΣ2UTA^TA=V\Sigma^TU^TU\Sigma V^T=V\Sigma^2V^T \\ AA^T = U\Sigma V^TV\Sigma^TU^T =U\Sigma^2U^T \\ ATA=VΣTUTUΣVT=VΣ2VTAAT=UΣVTVΣTUT=UΣ2UT
又ATA,AATA^TA,AA^TATA,AAT都是n阶实对称矩阵，可以进行正交对角化，则V,UV,UV,U实际上就是使ATA,AATA^TA,AA^TATA,AAT正交对角化的正交矩阵。

SVD过程举例
A=[100100]ATA=[200000000]λ=2,0,0,x1=(1,0,0)T,x2=(0,1,0)T,x3=(0,0,1)TAAT=[1111]λ=2,0,x1=(2/2,2/2),x2=(−2/2,2/2)U=[2/2−2/22/22/2],V=[100010001],Σ=[200000]UΣVT=[100100]=AA=\begin{bmatrix} 1 & 0 & 0 \\ 1 & 0 & 0 \\ \end{bmatrix} \\ \quad \\ A^TA=\begin{bmatrix} 2 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \\ \end{bmatrix} \\ \quad \\ \lambda = 2,0,0,x_1=(1,0,0)^T,x_2=(0,1,0)^T,x_3=(0,0,1)^T \\ \quad \\ AA^T = \begin{bmatrix} 1 & 1 \\ 1 & 1 \\ \end{bmatrix} \\ \quad \\ \lambda=2,0,x_1=(\sqrt2/2,\sqrt2/2),x_2=(-\sqrt2/2,\sqrt2/2) \\ \quad \\ U=\begin{bmatrix} \sqrt2/2 & -\sqrt2/2 \\ \sqrt2/2 & \sqrt2/2 \\ \end{bmatrix}, V=\begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \\ \end{bmatrix}, \Sigma=\begin{bmatrix} \sqrt2 & 0 & 0 \\ 0 & 0 & 0 \\ \end{bmatrix} \\ \quad \\ U\Sigma V^T=\begin{bmatrix} 1 & 0 & 0 \\ 1 & 0 & 0 \\ \end{bmatrix} = A A=[110000]ATA=⎣⎡200000000⎦⎤λ=2,0,0,x1=(1,0,0)T,x2=(0,1,0)T,x3=(0,0,1)TAAT=[1111]λ=2,0,x1=(2/2,2/2),x2=(−2/2,2/2)U=[2/22/2−2/22/2],V=⎣⎡100010001⎦⎤,Σ=[200000]UΣVT=[110000]=A

SVD的进一步理解

假设有一个矩阵A∈Rm×nA\in R^{m\times n}A∈Rm×n，对于线性变换有Ax=UΣVTx,x∈Rn。U,VAx=U\Sigma V^Tx,x\in R^n。U,VAx=UΣVTx,x∈Rn。U,V都是正交矩阵，因此可以看作两个单位正交基。

Ax=UΣVTx,x∈RnAx=U\Sigma V^Tx,x\in R^nAx=UΣVTx,x∈Rn，将xxx视为在正交基VVV上的线性组合，则VTxV^TxVTx表示对xxx进行一次旋转，旋转的结果使得xxx映射回到标准基上（如(1,0),(0,1)），ΣVTx\Sigma V^TxΣVTx表示将标准基的基向量进行比例伸缩，UΣVTxU\Sigma V^TxUΣVTx表示将比例伸缩后的基再旋转到新的方向上。

因此，SVD中，VTV^TVT表征了原正交基的旋转，UUU表征了新基的旋转，奇异值刻画了原正交基旋转后各个基方向的伸缩情况（也即每个基的重要程度）。

矩阵分析之实矩阵分解（1）特征分解与奇异值分解SVD相关推荐

矩阵的各种分解: LU分解, QR分解, 特征分解, 对称对角化, 奇异值分解 SVD
本文主要关注的是有关 "怎样的矩阵能够进行 XX 分解" 的问题,具体分解的实现方式在这里不做归纳. 欢迎访问我的个人主页 zhekaili.github.io,已查看更多的线性代 ...
特征分解(Eigendecomposition)
身为一个刚进入研究生学习的学生,在此记录下我的学习过程,目前在整理机器学习所需要的线代知识,所记录的线代知识大部分为考研之外的知识点. 分解矩阵的方式可以向我们展示在矩阵的元素排列表示中不明显的那些信 ...
矩阵分解（1）-- 矩阵分解之LU分解
目录 1. 分类 2. LU分解 2.1 定义 2.2 存在性和唯一性 2.3 实例 2.4 应用 1. 分类矩阵分解(decomposition, factorization)是多半将矩阵拆解为数 ...
矩阵分析之实矩阵分解（2）LU，PLU分解
矩阵分析之实矩阵分解(2)LU分解前言 LU分解(Doolittle杜立特解法) 分解条件分解方法分解的唯一性复杂度 PLU分解前言之前提到了特征分解和奇异值分解两种矩阵分解的方法,其中 ...
矩阵分析之实矩阵分解（5）矩阵分解法总结
矩阵分析之实矩阵分解(5)总结前言特征分解(谱分解) SVD分解 LU和PLU分解 Cholesky分解(LLT,LDLT分解) 满秩分解 QR分解使用场景推荐前言之前的四篇内容分别介绍了 ...
矩阵特征分解介绍及雅克比(Jacobi)方法实现特征值和特征向量的求解(C++/OpenCV/Eigen)
对角矩阵(diagonal matrix):只在主对角线上含有非零元素,其它位置都是零,对角线上的元素可以为0或其它值.形式上,矩阵D是对角矩阵,当且仅当对于所有的i≠j, Di,j= 0. 单位矩阵 ...
机器学习的数学基础 - 特征分解与奇异值分解
特征分解奇异值分解(Singular Value Decomposition, SVD)
特征分解与奇异值分解
特征分解特征分解是针对方阵的,奇异值分解是应用于矩阵的. 方阵AAA的特征向量是指与AAA相乘后相当于对原向量进行缩放的非0向量vvv: Av=λvAv = \lambda v Av=λv 标量λ\ ...
从特征分解到协方差矩阵：详细剖析和实现PCA算法
从特征分解到协方差矩阵:详细剖析和实现PCA算法本文先简要明了地介绍了特征向量和其与矩阵的关系,然后再以其为基础解释协方差矩阵和主成分分析法的基本概念,最后我们结合协方差矩阵和主成分分析法实现数据降 ...

矩阵分析之实矩阵分解（1）特征分解与奇异值分解SVD

矩阵分析之实矩阵分解（1）特征分解与奇异值分解

前言

特征分解（又称谱分解、对角化）

奇异值分解SVD

SVD的进一步理解

矩阵分析之实矩阵分解（1）特征分解与奇异值分解SVD相关推荐

最新文章

热门文章

矩阵分析之 实矩阵分解（1）特征分解与奇异值分解SVD

矩阵分析之 实矩阵分解（1）特征分解与奇异值分解

前言

特征分解（又称谱分解、对角化）

奇异值分解SVD

SVD的进一步理解

矩阵分析之 实矩阵分解（1）特征分解与奇异值分解SVD相关推荐

最新文章

热门文章

矩阵分析之实矩阵分解（1）特征分解与奇异值分解SVD

矩阵分析之实矩阵分解（1）特征分解与奇异值分解

矩阵分析之实矩阵分解（1）特征分解与奇异值分解SVD相关推荐