矩阵的谱分解（详细推导步骤~~~特征值分解特征向量

所谓矩阵的分解，就是将一个矩阵写成结构比较简单的或性质比较熟悉的另一些矩阵的乘积。矩阵的分解方法有很多种，包括三角分解、QR（正交三角）分解、最大秩分解、奇异值分解和谱分解，所有这些分解在数值代数和最优化问题的解法中都扮演着十分重要的角色。

本文介绍矩阵的谱分解(Eigen decomposition / Spectral decomposition)，不多废话了、直接进入正题、

* * * * * *

设矩阵 $A_{(n\times n)}$ 有特征根 $\lambda$ ，其对应的特征向量为 $u$ , 根据定义有

$Au=\lambda u$

同时，矩阵A和它的转置 $A'$ 的特征值是相同的，都是 $\lambda$ ，因为它们的特征多项式是相同的：

$\left | \lambda I-A \right |=\left | \lambda I-A' \right |$

因此，存在向量 $v$ ，使得

$A'v=\lambda v$

将上式取转置，有

$v'A=\lambda v'$

这里，称 $v'$ 为A的左特征向量， $u$ 则为A的右特征向量.

由此可知，对于矩阵A的每一个特征值 $\lambda_{i}$ ，存在向量 $u_{i}$ 和 $v_{i}$ 使

$Au_{i}=\lambda u_{i}$ , $A'v_{i}=\lambda v_{i}$

A的特征根如果全不同（若相同，此种情况在下文介绍），设为 $\lambda _{1},\lambda _{2},\cdots ,\lambda _{n}$ ,就有2n个向量 $u_{i}$ ， $v_{i}$ ，i=1,2,...,n，使

$Au_{i}=\lambda u_{i}$ ， $A'v_{i}=\lambda v_{i}$ ， $i=1,2,\cdots ,n$

记 $U=(u_{1},\cdots ,u_{n}),V=(v_{1},\cdots ,v_{n})$ ，则有

$AU=U\Lambda , A'V=V\Lambda$

其中 $\Lambda =\begin{pmatrix} \lambda _{1}& &0 \\ &\ddots & \\ 0 & & \lambda _{n} \end{pmatrix}$ 为对应特征值构成的对角矩阵.

* * * * * *

要使A表示成其他矩阵的乘积（谱分解的形式），需要上式中的U和V可逆(右乘它的逆矩阵)，即要证明 $U^{-1}$ 和 $V^{-1}$ 存在，这等同于证明 $u_{1},\cdots ,u_{n},v_{1},\cdots ,v_{n}$ 是线性无关的，下面给出证明（反证法证明其中一组，另一组同理）：

若 $u_{1},\cdots ,u_{n}$ 是线性相关的，那么存在一组不全为0的数 $c_{1},\cdots ,c_{n}$ ，使得

① $\sum_{i=1}^{n}c_{i}u_{i}=0$

于是就有

② $0=A0=A(\sum_{i=1}^{n}c_{i}u_{i})=\sum_{i=1}^{n}c_{i}\lambda _{i}u_{i}$

由于 $c_{1},\cdots ,c_{n}$ 中至少有一个不为0，所以可以

③ 将某个 $u_{i}$ 用其他的向量 $u$ 来表示，并将其代入②中的 $u_{i}$ ，这样可以消去一个 $u$

不妨记为消去 $u_{1}$ ，在代入消去后，就有不全为0的 $d_{i}$ ，使得 $\sum_{i=2}^{n}d_{i}u_{i}=0$ ，重复③的做法，逐一消去后得到 $u_{i}=0$ ，考虑到矩阵的特征向量不为零向量，所以原假设错误，由此证明U是可逆的，同理，V也是可逆的.

* * * * * *

又因为

$\lambda _{i}v_{i}'u_{j}=v'_{i}Au_{j}=\lambda _{j}v'_{i}u_{j}$

于是，当 $i\neq j$ 时， $v'_{i}u_{j}=0$ 对一切 $i,j=1,2,\cdots n$ 成立，也即

$V'U=\begin{pmatrix} d _{1}& &0 \\ &\ddots & \\ 0 & & d _{n} \end{pmatrix}=(define)=D$

易见 $D^{-1}$ 存在，且 $D^{-1}=U^{-1}(V')^{-1}$ ，即 $U^{1}=D^{-1}V'$ ，由 $AU=U\Lambda$ ，就有

$A=U\Lambda U^{-1}=U\Lambda D^{-1}V'=U(\Lambda D^{-1})V'=\sum_{i=1}^{n}\frac{\lambda _{i}}{d_{i}}u_{i}v_{i}'$

$u_{i}$ 时A的特征向量，那么 $cu_{i}$ 仍然是A的特征向量，适当选取 $u_{i}$ 以及 $v_{i}$ ，使得 $v'_{i}u_{i}=1,i=1,2,\cdots ,n$ ，于是 $d\equiv 1$ ，因此有

$A=\sum_{i=1}^{n}\lambda _{i}u_{i}v_{i}'$

上式就是矩阵的谱分解，特征根 $\lambda _{1},\lambda _{2},\cdots ,\lambda _{n}$ 也称为矩阵A的谱.

易见， $u_{i}v_{i}'$ 就是一个矩阵，因此A被分解为n个矩阵 $u_{i}v_{i}'$ 的线性组合的形式，其系数就是A的谱.

* * * * * *

另外，若A的特征根有重根，例如 $\lambda _{i}$ 是A的 $l_{i}$ 重根，若相应于 $\lambda _{i}$ 有 $l_{i}$ 个线性无关的特征向量，那么上面的讨论仍可以进行. 但是如果A的某个特征根的重数与它的线性无关的特征向量个数不相同，那么谱分解就不成立.

$*****$ 分享 $*$ 交流 $*$ 点赞鼓励 :-) $*****$

矩阵的谱分解（详细推导步骤~~~特征值分解特征向量相关推荐

线性代数基础（矩阵、范数、正交、特征值分解、奇异值分解、迹运算）
目录基础概念矩阵转置对角矩阵线性相关范数正交特征值分解奇异值分解 Moore-Penrose 伪逆迹运算行列式如果这篇文章对你有一点小小的帮助,请给个关注喔~我会非常开心的~ 基 ...
【线性代数】矩阵、向量、行列式、特征值与特征向量（掌握这些概念一篇文章就够了）
在数学领域中,线性代数是一门十分有魅力的学科,首先,它不难学:其次,它能广泛应用于现实生活中:另外,在机器学习越来越被重视的现在,线性代数也能算得上是一个优秀程序员的基本素养吧? 一.线性代数的入门知 ...
矩阵分解之: 特征值分解(EVD)、奇异值分解(SVD)、SVD++
目录: 1.矩阵分解 1.1 矩阵分解的产生原因 1.2 矩阵分解作用 1.3 矩阵分解的方法 1.4 推荐学习的经典矩阵分解算法 2. 特征值分解(EVD) 3. 奇异值分解(SVD) 4. SVD ...
解方程AX=b与矩阵分解：奇异值分解（SVD分解）特征值分解 QR分解三角分解 LLT分解
文章目录 1. 前言 2. LU三角分解 3. Cholesky分解 - LDLT分解 4. Cholesky分解 - LLT分解 5. QR分解 6. 奇异值分解 7. 特征值分解 1. 前言本博 ...
视觉SLAM中的数学——解方程AX=b与矩阵分解：奇异值分解（SVD分解）特征值分解 QR分解三角分解 LLT分解
前言本博客主要介绍在SLAM问题中常常出现的一些线性代数相关的知识,重点是如何采用矩阵分解的方法,求解线性方程组AX=B.主要参考了<计算机视觉--算法与应用>附录A以及Eigen库的方 ...
奇异值分解与特征值分解详解
博主从一位大神处转载而来的,写得非常好,修改了一处我觉得可能是大神写的一点点小问题, 原地址: https://blog.csdn.net/MyArrow/article/details/537809 ...
特征值分解、奇异值分解、PCA概念整理（转载）
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/jinshengtao/article/details/18448355 本文将分别介绍特征值分解.奇 ...
特征值分解与奇异值分解原理与计算
(一)特征值如果一个非零向量v是方阵A的特征向量,将一定可以表示成下面形式,而λ是特征向量v对应的特征值:特征值分解是将一个矩阵分解成下面的形式: 其中Q是这个矩阵甲的特征向量组成的矩阵,Σ是一个对 ...
特征值分解、奇异值分解、PCA概念整理
本文将分别介绍特征值分解.奇异值分解.及PCA的相关理论概念. 文章末尾将给出Householder矩阵变换.QR算法求解特征值.特征向量的代码其中,特征值分解.奇异值分解的相关内容,转载自: ht ...
numpy求矩阵的特征值与特征向量(np.linalg.eig函数详解)
numpy求矩阵的特征值与特征向量(np.linalg.eig) 语法 np.linalg.eig(a) 功能 Compute the eigenvalues and right eigenvecto ...

矩阵的谱分解（详细推导步骤~~~特征值分解特征向量

矩阵的谱分解（详细推导步骤~~~特征值分解特征向量相关推荐

最新文章

热门文章

矩阵的谱分解 （详细推导步骤~~~特征值分解特征向量

矩阵的谱分解 （详细推导步骤~~~特征值分解特征向量相关推荐

最新文章

热门文章

矩阵的谱分解（详细推导步骤~~~特征值分解特征向量

矩阵的谱分解（详细推导步骤~~~特征值分解特征向量相关推荐