线性代数-MIT 18.06-7(b)

文章目录

33.复习三
- 复习提纲
- 例题详解
34.左右逆和伪逆
- 左逆（left inserve）
- - 左逆的由来和定义
  - 最小二乘复习
- 右逆（right inverse）
- 伪逆（pseudo inverse）
- - 伪逆的基本思想
  - 伪逆的应用
  - 伪逆的求解方法
35.期末复习

本文在学习《麻省理工公开课线性代数 MIT 18.06 Linear Algebra》总结反思形成

视频链接：MITB站视频

笔记部分：总结参考子实

33.复习三

在上一次复习中，我们已经涉及了求特征值与特征向量（通过解方程det⁡(A−λI)=0\det(A-\lambda I)=0det(A−λI)=0得出λ\lambdaλ，再将λ\lambdaλ带入A−λIA-\lambda IA−λI求其零空间得到xxx）。

复习提纲

解微分方程dudt=Au\frac{\mathrm{d}u}{\mathrm{d}t}=Audtdu=Au，并介绍了指数矩阵eAte^{At}eAt；
介绍了对称矩阵的性质A=ATA=A^TA=AT，了解了其特征值均为实数且总是存在足量的特征向量（即使特征值重复特征向量也不会短缺，总是可以对角化）；同时对称矩阵的特征向量正交，所以对称矩阵对角化的结果可以表示为A=QΛQTA=Q\Lambda Q^TA=QΛQT；
正定矩阵；
相似矩阵，B=M−1AMB=M^{-1}AMB=M−1AM，矩阵A,BA,BA,B特征值相同，其实相似矩阵是用不同的基表示相同的东西；
奇异值分解A=UΣVTA=U\varSigma V^TA=UΣVT

例题详解

解方程dudt=Au=[0−1010−1010]u\frac{\mathrm{d}u}{\mathrm{d}t}=Au=\begin{bmatrix}0&-1&0\\1&0&-1\\0&1&0\end{bmatrix}udtdu=Au=⎣⎡010−1010−10⎦⎤u。

解法1：

首先通过AAA的特征值/向量求通解u(t)=c1eλ1tx1+c2eλ2tx2+c3eλ3tx3u(t)=c_1e^{\lambda_1t}x_1+c_2e^{\lambda_2t}x_2+c_3e^{\lambda_3t}x_3u(t)=c1eλ1tx1+c2eλ2tx2+c3eλ3tx3，很明显矩阵是奇异的，所以有λ1=0\lambda_1=0λ1=0；、

继续观察矩阵会发现AT=−AA^T=-AAT=−A，这是一个反对称矩阵（anti-symmetric）或斜对陈矩阵（skew-symmetric），这与我们在第二十一讲介绍过的旋转矩阵类似，它的特征值应该为纯虚数（特征值在虚轴上），所以我们猜测其特征值应为0⋅i,b⋅i,−b⋅i0\cdot i,\ b\cdot i,\ -b\cdot i0⋅i, b⋅i, −b⋅i。通过解det⁡(A−λI)=0\det(A-\lambda I)=0det(A−λI)=0验证一下：[−λ−101−λ−101λ]=λ3+2λ=0,λ2=2i,λ3=−2i\begin{bmatrix}-\lambda&-1&0\\1&-\lambda&-1\\0&1&\lambda\end{bmatrix}=\lambda^3+2\lambda=0, \lambda_2=\sqrt 2i, \lambda_3=-\sqrt 2i⎣⎡−λ10−1−λ10−1λ⎦⎤=λ3+2λ=0,λ2=2i,λ3=−2i。

此时u(t)=c1+c2e2itx2+c3e−2itx3u(t)=c_1+c_2e^{\sqrt 2it}x_2+c_3e^{-\sqrt 2it}x_3u(t)=c1+c2e2itx2+c3e−2itx3，e2ite^{\sqrt 2it}e2it始终在复平面单位圆上，所以u(t)u(t)u(t)及不发散也不收敛，它只是具有周期性。当t=0t=0t=0时有u(0)=c1+c2+c3u(0)=c_1+c_2+c_3u(0)=c1+c2+c3，如果使e2iT=1e^{\sqrt 2iT}=1e2iT=1即2iT=2πi\sqrt 2iT=2\pi i2iT=2πi则也能得到u(T)=c1+c2+c3u(T)=c_1+c_2+c_3u(T)=c1+c2+c3，周期T=π2T=\pi\sqrt 2T=π2。

知识点：当矩阵满足什么条件时，其特征向量相互正交？

答案是必须满足AAT=ATAAA^T=A^TAAAT=ATA。

所以对称矩阵A=ATA=A^TA=AT满足此条件，

同时反对称矩阵A=−ATA=-A^TA=−AT也满足此条件，

而正交矩阵Q−1=QTQ^{-1}=Q^TQ−1=QT同样满足此条件，这三种矩阵的特征向量都是相互正交的

解法2：

上面的解法并没有求特征向量，进而通过u(t)=eAtu(0)u(t)=e^{At}u(0)u(t)=eAtu(0)得到通解，现在我们就来使用指数矩阵来解方程。

如果矩阵可以对角化（在本例中显然可以），则A=SΛS−1,eAt=SeΛtS−1=S[eλ1teλ1t⋱eλ1t]S−1A=S\Lambda S^{-1}, e^{At}=Se^{\Lambda t}S^{-1}=S\begin{bmatrix}e^{\lambda_1t}&&&\\&e^{\lambda_1t}&&\\&&\ddots&\\&&&e^{\lambda_1t}\end{bmatrix}S^{-1}A=SΛS−1,eAt=SeΛtS−1=S⎣⎢⎢⎡eλ1teλ1t⋱eλ1t⎦⎥⎥⎤S−1

点评：这个公式在能够快速计算S,λS,\lambdaS,λ时很方便求解。
已知矩阵的特征值λ1=0,λ2=c,λ3=2\lambda_1=0,\lambda_2=c,\lambda_3=2λ1=0,λ2=c,λ3=2，特征向量x1=[111],x2=[1−10],x3=[11−2]x_1=\begin{bmatrix}1\\1\\1\end{bmatrix},x_2=\begin{bmatrix}1&-1&0\end{bmatrix},x_3=\begin{bmatrix}1\\1\\-2\end{bmatrix}x1=⎣⎡111⎦⎤,x2=[1−10],x3=⎣⎡11−2⎦⎤：
- ccc如何取值才能保证矩阵可以对角化？
  
  其实可对角化只需要有足够的特征向量即可，而现在特征向量已经足够，所以ccc可以取任意值。
- ccc如何取值才能保证矩阵对称？
  
  我们知道，对称矩阵的特征值均为实数，且注意到给出的特征向量是正交的，有了实特征值及正交特征向量，我们就可以得到对称矩阵。
- ccc如何取值才能使得矩阵正定？
  
  已经有一个零特征值了，所以矩阵不可能是正定的，但可以是半正定的，如果ccc去非负实数。
- ccc如何取值才能使得矩阵是一个马尔科夫矩阵？
  
  在第二十四讲我们知道马尔科夫矩阵的性质：必有特征值等于111，其余特征值均小于111，所以AAA不可能是马尔科夫矩阵。
- ccc取何值才能使得P=A2P=\frac{A}{2}P=2A是一个投影矩阵？
  
  我们知道投影矩阵的一个重要性质是P2=PP^2=PP2=P，所以有对其特征值有λ2=λ\lambda^2=\lambdaλ2=λ，则c=0,2c=0,2c=0,2。
点评：题设中的正交特征向量意义重大，如果没有正交这个条件，则矩阵AAA不会是对称、正定、投影矩阵。因为特征向量的正交性我们才能直接去看特征值的性质。
复习奇异值分解，A=UΣVTA=U\varSigma V^TA=UΣVT：

先求正交矩阵VVV：ATA=VΣTUTUΣVT=V(ΣTΣ)VTA^TA=V\varSigma^TU^TU\varSigma V^T=V\left(\varSigma^T\varSigma\right)V^TATA=VΣTUTUΣVT=V(ΣTΣ)VT，所以VVV是矩阵ATAA^TAATA的特征向量矩阵，而矩阵ΣTΣ\varSigma^T\varSigmaΣTΣ是矩阵ATAA^TAATA的特征值矩阵，即ATAA^TAATA的特征值为σ2\sigma^2σ2。

接下来应该求正交矩阵UUU：AAT=UΣTVTVΣUT=U(ΣTΣ)UTAA^T=U\varSigma^TV^TV\varSigma U^T=U\left(\varSigma^T\varSigma\right)U^TAAT=UΣTVTVΣUT=U(ΣTΣ)UT，但是请注意，我们在这个式子中无法确定特征向量的符号，我们需要使用Avi=σiuiAv_i=\sigma_iu_iAvi=σiui，通过已经求出的viv_ivi来确定uiu_iui的符号（因为AV=UΣAV=U\varSigmaAV=UΣ），进而求出UUU。

举例点评：已知A=[u1u2][3002][v1v2]TA=\bigg[u_1\ u_2\bigg]\begin{bmatrix}3&0\\0&2\end{bmatrix}\bigg[v_1\ v_2\bigg]^TA=[u1 u2][3002][v1 v2]T

从已知的Σ\varSigmaΣ矩阵可以看出，AAA矩阵是非奇异矩阵，因为它没有零奇异值。另外，如果把Σ\varSigmaΣ矩阵中的222改成−5-5−5，则题目就不再是奇异值分解了，因为奇异值不可能为负；如果将222变为000，则AAA是奇异矩阵，它的秩为111，零空间为111维，v2v_2v2在其零空间中。
AAA是正交对称矩阵，那么它的特征值具有什么特点？

首先，对于对称矩阵，有特征值均为实数；

然后是正交矩阵，直觉告诉我们∣λ∣=1|\lambda|=1∣λ∣=1。

对于Qx=λxQx=\lambda xQx=λx，我们两边同时取模有∥Qx∥=∣λ∣∥x∥\|Qx\|=|\lambda|\|x\|∥Qx∥=∣λ∣∥x∥，而正交矩阵不会改变向量长度，所以有∥x∥=∣λ∣∥x∥\|x\|=|\lambda|\|x\|∥x∥=∣λ∣∥x∥，因此λ=±1\lambda=\pm1λ=±1。
- AAA是正定的吗？
  
  并不一定，因为特征向量可以取−1-1−1。
- AAA的特征值没有重复吗？
  
  不是，如果矩阵大于222阶则必定有重复特征值，因为只能取±1\pm1±1。
- AAA可以被对角化吗？
  
  是的，任何对称矩阵、任何正交矩阵都可以被对角化。
- AAA是非奇异矩阵吗？
  
  是的，正交矩阵都是非奇异矩阵。很明显它的特征值都不为零。
- 证明P=12(A+I)P=\frac{1}{2}(A+I)P=21(A+I)是投影矩阵。
  
  证法1：我们使用投影矩阵的性质验证，首先由于AAA是对称矩阵，则PPP一定是对称矩阵；接下来需要验证P2=PP^2=PP2=P，也就是14(A2+2A+I)=12(A+I)\frac{1}{4}\left(A^2+2A+I\right)=\frac{1}{2}(A+I)41(A2+2A+I)=21(A+I)。来看看A2A^2A2是什么，AAA是正交矩阵则AT=A−1A^T=A^{-1}AT=A−1，而AAA又是对称矩阵则A=AT=A−1A=A^T=A^{-1}A=AT=A−1，所以A2=IA^2=IA2=I。带入原式有14(2A+2I)=12(A+I)\frac{1}{4}(2A+2I)=\frac{1}{2}(A+I)41(2A+2I)=21(A+I)，得证。
  
  证法2：我们可以使用特征值验证，AAA的特征值可以取±1\pm1±1，则A+IA+IA+I的特征值可以取0,20,20,2，12(A+I)\frac{1}{2}(A+I)21(A+I)的特征值为0,10,10,1，特征值满足投影矩阵且它又是对称矩阵，得证。

34.左右逆和伪逆

前面我们涉及到的逆（inverse）都是指左、右乘均成立的逆矩阵，即A−1A=I=AA−1A^{-1}A=I=AA^{-1}A−1A=I=AA−1。在这种情况下，m×nm\times nm×n矩阵AAA满足m=n=rank(A)m=n=rank(A)m=n=rank(A)，也就是满秩方阵。

左逆（left inserve）

左逆的由来和定义

最小二乘中（第十六讲）介绍过列满秩的情况，也就是列向量线性无关，但行向量通常不是线性无关的。常见的列满秩矩阵AAA满足m>n=rank(A)m>n=rank(A)m>n=rank(A)。

列满秩时，列向量线性无关，所以其零空间中只有零解，方程Ax=bAx=bAx=b可能有一个唯一解

bbb在AAA的列空间中，此特解就是全部解，因为通常的特解可以通过零空间中的向量扩展出一组解集，而此时零空间只有列向量），也可能无解（bbb不在AAA的列空间中。

此时行空间为Rn\mathbb{R}^nRn，也正印证了与行空间互为正交补的零空间中只有列向量。

现在来观察ATAA^TAATA，也就是在m>n=rank(A)m>n=rank(A)m>n=rank(A)的情况下，n×mn\times mn×m矩阵乘以m×nm\times nm×n矩阵，结果为一个满秩的n×nn\times nn×n矩阵，所以ATAA^TAATA是一个可逆矩阵。也就是说(ATA)−1AT⏟A=I\underbrace{\left(A^TA\right)^{-1}A^T}A=I(ATA)−1ATA=I成立，而大括号部分的(ATA)−1AT\left(A^TA\right)^{-1}A^T(ATA)−1AT称为长方形矩阵AAA的左逆
Aleft−1=(ATA)−1ATA^{-1}_{left}=\left(A^TA\right)^{-1}A^T Aleft−1=(ATA)−1AT

最小二乘复习

关键方程ATAx^=ATbA^TA\hat x=A^TbATAx^=ATb，

Aleft−1A^{-1}_{left}Aleft−1被当做一个系数矩阵乘在bbb向量上，求得bbb向量投影在AAA的列空间之后的解
x^=(ATA)−1ATb\hat x=\left(A^TA\right)^{-1}A^Tb x^=(ATA)−1ATb
如果我们强行给左逆左乘矩阵AAA，得到的矩阵就是投影矩阵P=A(ATA)−1ATP=A\left(A^TA\right)^{-1}A^TP=A(ATA)−1AT，来自p=Ax^=A(ATA)−1ATp=A\hat x=A\left(A^TA\right)^{-1}A^Tp=Ax^=A(ATA)−1AT，它将右乘的向量bbb投影在矩阵AAA的列空间中。

再来观察AATAA^TAAT矩阵，这是一个m×mm\times mm×m矩阵，秩为rank(AAT)=n<mrank(AA^T)=n<mrank(AAT)=n<m，也就是说AATAA^TAAT是不可逆的。

右逆（right inverse）

右逆也就是研究m×nm\times nm×n矩阵AAA行满秩的情况，此时n>m=rank(A)n>m=rank(A)n>m=rank(A)。对称的，其左零空间中仅有零向量，即没有行向量的线性组合能够得到零向量。

行满秩时，矩阵的列空间将充满向量空间C(A)=RmC(A)=\mathbb{R}^mC(A)=Rm，所以方程Ax=bAx=bAx=b总是有解集，由于消元后有n−mn-mn−m个自由变量，所以方程的零空间为n−mn-mn−m维。

与左逆对称，再来观察AATAA^TAAT，在n>m=rank(A)n>m=rank(A)n>m=rank(A)的情况下，m×nm\times nm×n矩阵乘以n×mn\times mn×m矩阵，结果为一个满秩的m×mm\times mm×m矩阵，所以此时AATAA^TAAT是一个满秩矩阵，也就是AATAA^TAAT可逆。所以AAT(AAT)⏟=IA\underbrace{A^T\left(AA^T\right)}=IAAT(AAT)=I，大括号部分的AT(AAT)A^T\left(AA^T\right)AT(AAT)称为长方形矩阵的右逆
KaTeX parse error: Can't use function '$' in math mode at position 2: $̲A^{-1}_{right}=…
同样的，如果我们强行给右逆右乘矩阵AAA，将得到另一个投影矩阵P=AT(AAT)AP=A^T\left(AA^T\right)AP=AT(AAT)A，与上一个投影矩阵不同的是，这个矩阵的AAA全部变为ATA^TAT了。所以这是一个能够将右乘的向量bbb投影在AAA的行空间中。

前面我们提及了逆（方阵满秩），并讨论了左逆（矩阵列满秩）、右逆（矩阵行满秩），现在看一下第四种情况，m×nm\times nm×n矩阵AAA不满秩的情况。

伪逆（pseudo inverse）

伪逆的基本思想

有m×nm\times nm×n矩阵AAA，满足rank(A)<min(m,n)rank(A)\lt min(m,\ n)rank(A)<min(m, n)，则

列空间C(A)∈Rm,dim⁡C(A)=rC(A)\in\mathbb{R}^m,\ \dim C(A)=rC(A)∈Rm, dimC(A)=r，左零空间N(AT)∈Rm,dim⁡N(AT)=m−rN\left(A^T\right)\in\mathbb{R}^m,\ \dim N\left(A^T\right)=m-rN(AT)∈Rm, dimN(AT)=m−r，列空间与左零空间互为正交补；
行空间C(AT)∈Rn,dim⁡C(AT)=rC\left(A^T\right)\in\mathbb{R}^n,\ \dim C\left(A^T\right)=rC(AT)∈Rn, dimC(AT)=r，零空间N(A)∈Rn,dim⁡N(A)=n−rN(A)\in\mathbb{R}^n,\ \dim N(A)=n-rN(A)∈Rn, dimN(A)=n−r，行空间与零空间互为正交补。

现在任取一个向量xxx，乘上AAA后结果AxAxAx一定落在矩阵AAA的列空间C(A)C(A)C(A)中。而根据维数，x∈Rn,Ax∈Rmx\in\mathbb{R}^n,\ Ax\in\mathbb{R}^mx∈Rn, Ax∈Rm，那么我们现在猜测，输入向量xxx全部来自矩阵的行空间，而输出向量AxAxAx全部来自矩阵的列空间，并且是一一对应的关系，

也就是Rn\mathbb{R}^nRn的rrr维子空间到Rm\mathbb{R}^mRm的rrr维子空间的映射。

而矩阵AAA现在有这些零空间存在，其作用是将某些向量变为零向量，这样Rn\mathbb{R}^nRn空间的所有向量都包含在行空间与零空间中，所有向量都能由行空间的分量和零空间的分量构成。伪逆变换将零空间的分量消除（不考虑）。

但如果我们只看行空间中的向量，那就全部变换到列空间中了。

那么，我们现在只看行空间与列空间，在行空间中任取两个向量x,y∈C(AT)x,\ y\in C(A^T)x, y∈C(AT)，则有Ax≠AyAx\neq AyAx=Ay。所以从行空间到列空间，变换AAA是个不错的映射，如果限制在这两个空间上，AAA可以说“是个可逆矩阵”，那么它的逆就称作伪逆，而这个伪逆的作用就是将列空间的向量一一映射到行空间中。通常，伪逆记作A+A^+A+，因此Ax=(Ax),y=A+(Ay)Ax=(Ax),\ y=A^+(Ay)Ax=(Ax), y=A+(Ay)。

现在我们来证明对于x,y∈C(AT),x≠yx,y\in C\left(A^T\right),\ x\neq yx,y∈C(AT), x=y，有Ax,Ay∈C(A),Ax≠AyAx,Ay\in C(A),\ Ax\neq AyAx,Ay∈C(A), Ax=Ay：

反证法，设Ax=AyAx=AyAx=Ay，则有A(x−y)=0A(x-y)=0A(x−y)=0，即向量x−y∈N(A)x-y\in N(A)x−y∈N(A)；
另一方面，向量x,y∈C(AT)x,y\in C\left(A^T\right)x,y∈C(AT)，所以两者之差x−yx-yx−y向量也在C(AT)C\left(A^T\right)C(AT)中，即x−y∈C(AT)x-y\in C\left(A^T\right)x−y∈C(AT)；
此时满足这两个结论要求的仅有一个向量，即零向量同时属于这两个正交的向量空间，从而得到x=yx=yx=y，与题设中的条件矛盾，得证。

伪逆的应用

伪逆在统计学中非常有用，以前我们做最小二乘需要矩阵列满秩这一条件，只有矩阵列满秩才能保证ATAA^TAATA是可逆矩阵，而统计中经常出现重复测试，会导致列向量线性相关，在这种情况下ATAA^TAATA就成了奇异矩阵，这时候就需要伪逆。

伪逆的求解方法

接下来我们介绍如何计算伪逆A+A^+A+：

奇异值分解法

A=UΣVTA=U\varSigma V^TA=UΣVT，其中的对角矩阵型为Σ=[σ1⋱σ2[0]]\varSigma=\left[\begin{array}{c c c|c}\sigma_1&&&\\&\ddots&&\\&&\sigma_2&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]Σ=⎣⎢⎢⎡σ1⋱σ2[0]⎦⎥⎥⎤，对角线非零的部分来自ATA,AATA^TA,\ AA^TATA, AAT比较好的部分，剩下的来自左/零空间。
看一下Σ\varSigmaΣ矩阵的伪逆是多少，这是一个m×nm\times nm×n矩阵，rank(Σ)=rrank(\varSigma)=rrank(Σ)=r，Σ+=[1σ1⋱1σr[0]]\varSigma^+=\left[\begin{array}{c c c|c}\frac{1}{\sigma_1}&&&\\&\ddots&&\\&&\frac{1}{\sigma_r}&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]Σ+=⎣⎢⎢⎡σ11⋱σr1[0]⎦⎥⎥⎤

Σ\varSigmaΣ矩阵的伪逆是一个n×mn\times mn×m矩阵

所以以下关系成立：
ΣΣ+=[1⋱1[0]]m×mΣ+Σ=[1⋱1[0]]n×n\varSigma\varSigma^+=\left[\begin{array}{c c c|c}1&&&\\&\ddots&&\\&&1&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]_{m\times m}\\\varSigma^+\varSigma=\left[\begin{array}{c c c|c}1&&&\\&\ddots&&\\&&1&\\\hline&&&\begin{bmatrix}0\end{bmatrix}\end{array}\right]_{n\times n} ΣΣ+=⎣⎢⎢⎡1⋱1[0]⎦⎥⎥⎤m×mΣ+Σ=⎣⎢⎢⎡1⋱1[0]⎦⎥⎥⎤n×n

观察ΣΣ+\varSigma\varSigma^+ΣΣ+和Σ+Σ\varSigma^+\varSigmaΣ+Σ不难发现，ΣΣ+\varSigma\varSigma^+ΣΣ+是将向量投影到列空间上的投影矩阵，而Σ+Σ\varSigma^+\varSigmaΣ+Σ是将向量投影到行空间上的投影矩阵。

我们不论是左乘还是右乘伪逆，得到的不是单位矩阵，而是投影矩阵。

该投影将向量带入比较好的空间（行空间和列空间，而不是左/零空间）。

接下来我们来求AAA的伪逆：
A+=VΣ+UTA^+=V\varSigma^+U^T A+=VΣ+UT

35.期末复习

从以往的试题入手复习知识点。

已知m×nm\times nm×n矩阵AAA，有Ax=[100]Ax=\begin{bmatrix}1\\0\\0\end{bmatrix}Ax=⎣⎡100⎦⎤无解；Ax=[010]Ax=\begin{bmatrix}0\\1\\0\end{bmatrix}Ax=⎣⎡010⎦⎤仅有唯一解，求关于m,n,rank(A)m,n,rank(A)m,n,rank(A)的信息。

解：首先，最容易判断的是m=3m=3m=3；而根据第一个条件可知，矩阵不满秩，有r<mr<mr<m；

根据第二个条件可知，零空间仅有零向量，也就是矩阵消元后没有自由变量，列向量线性无关，所以有r=nr=nr=n。

综上，有m=3>n=rm=3>n=rm=3>n=r。
- 根据所求写出一个矩阵AAA的特例：A=[001001]A=\begin{bmatrix}0&0\\1&0\\0&1\end{bmatrix}A=⎣⎡010001⎦⎤。
- det⁡ATA=?det⁡AAT\det A^TA\stackrel{?}{=}\det AA^TdetATA=?detAAT
  
  不相等，因为ATAA^TAATA可逆而AATAA^TAAT不可逆，所以行列式不相等。（但是对于方阵，det⁡AB=det⁡BA\det AB=\det BAdetAB=detBA恒成立。）
- ATAA^TAATA可逆吗？
  
  是，因为r=nr=nr=n，矩阵列向量线性无关，即列满秩。
- AATAA^TAAT正定吗？
  
  否，因为AATAA^TAAT是3×n3\times n3×n矩阵与n×3n\times 3n×3矩阵之积，是一个三阶方阵，而AATAA^TAAT秩为222，所以不是正定矩阵。（不过AATAA^TAAT一定是半正定矩阵。）
- 求证ATy=cA^Ty=cATy=c至少有一个解
  
  因为AAA的列向量线性无关，所以ATA^TAT的行向量线性无关，消元后每行都有主元，且总有自由变量，所以零空间中有非零向量，零空间维数是m−rm-rm−r（可以直接从dim⁡N(AT)=m−r\dim N\left(A^T\right)=m-rdimN(AT)=m−r得到结论）。
设A=[v1v2v3]A=\Bigg[v_1\ v_2\ v_3\Bigg]A=[v1 v2 v3]，对于Ax=v1−v2+v3Ax=v_1-v_2+v_3Ax=v1−v2+v3，求xxx。

按列计算矩阵相乘，有x=[1−11]x=\begin{bmatrix}1\\-1\\1\end{bmatrix}x=⎣⎡1−11⎦⎤。
- 若Ax=v_1-v_2+v_3=0，则解是唯一的吗？为什么。
  
  如果解是唯一的，则零空间中只有零向量，而在此例中x=[1−11]x=\begin{bmatrix}1\\-1\\1\end{bmatrix}x=⎣⎡1−11⎦⎤就在零空间中，所以解不唯一。
- *若v1,v2,v3v_1,v_2,v_3v1,v2,v3是标准正交向量，那么怎样的线性组合c1v1+c2v2c_1v_1+c_2v_2c1v1+c2v2能够最接近v3v_3v3？
  
  此问是考察投影概念，由于是正交向量，所以只有000向量最接近v3v_3v3。
矩阵A=[.2.4.3.4.2.3.4.4.4]A=\begin{bmatrix}.2&.4&.3\\.4&.2&.3\\.4&.4&.4\end{bmatrix}A=⎣⎡.2.4.4.4.2.4.3.3.4⎦⎤，求稳态。
1. 这是个马尔科夫矩阵，前两之和为第三列的两倍，奇异矩阵总有一个特征值为000，而马尔科夫矩阵总有一个特征值为111，剩下一个特征值从矩阵的迹得知为−.2-.2−.2。
2. 再看马尔科夫过程，设从u(0)u(0)u(0)开始，uk=Aku0,u0=[0100]u_k=A^ku_0, u_0=\begin{bmatrix}0\\10\\0\end{bmatrix}uk=Aku0,u0=⎣⎡0100⎦⎤。先代入特征值λ1=0,λ2=1,λ3=−.2\lambda_1=0,\ \lambda_2=1,\ \lambda_3=-.2λ1=0, λ2=1, λ3=−.2查看稳态uk=c1λ1kx1+c2λ2kx2+c3λ3kx3u_k=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+c_3\lambda_3^kx_3uk=c1λ1kx1+c2λ2kx2+c3λ3kx3，当k→∞k\to\inftyk→∞，第一项与第三项都会消失，剩下u∞=c2x2u_\infty=c_2x_2u∞=c2x2。
3. 到这里我们只需求出λ2\lambda_2λ2对应的特征向量即可，带入特征值求解(A−I)x=0(A-I)x=0(A−I)x=0，有[−.8.4.3.4−.8.3.4.4−.6][???]=[000]\begin{bmatrix}-.8&.4&.3\\.4&-.8&.3\\.4&.4&-.6\end{bmatrix}\begin{bmatrix}?\\?\\?\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix}⎣⎡−.8.4.4.4−.8.4.3.3−.6⎦⎤⎣⎡???⎦⎤=⎣⎡000⎦⎤，可以消元得，也可以直接观察得到x2=[334]x_2=\begin{bmatrix}3\\3\\4\end{bmatrix}x2=⎣⎡334⎦⎤。
4. 剩下就是求c2c_2c2了，可以通过u0u_0u0一一解出每个系数，但是这就需要解出每一个特征值。另一种方法，我们可以通过马尔科夫矩阵的特性知道，对于马尔科夫过程的每一个uku_kuk都有其分量之和与初始值分量之和相等，所以对于x2=[334]x_2=\begin{bmatrix}3\\3\\4\end{bmatrix}x2=⎣⎡334⎦⎤，有c2=1c_2=1c2=1。所以最终结果是
u∞=[334]u_\infty=\begin{bmatrix}3\\3\\4\end{bmatrix} u∞=⎣⎡334⎦⎤
对于二阶方阵，回答以下问题：
- 求投影在直线a=[4−3]a=\begin{bmatrix}4\\-3\end{bmatrix}a=[4−3]上的投影矩阵
  
  应为P=aaTaTaP=\frac{aa^T}{a^Ta}P=aTaaaT。
- 已知特征值λ1=2,x1=[12]λ2=3,x2=[21]\lambda_1=2,\ x_1=\begin{bmatrix}1\\2\end{bmatrix}\quad \lambda_2=3,\ x_2=\begin{bmatrix}2\\1\end{bmatrix}λ1=2, x1=[12]λ2=3, x2=[21]求原矩阵AAA
  
  从对角化公式得A=SΛS−1=[1221][0003][1221]−1A=S\Lambda S^{-1}=\begin{bmatrix}1&2\\2&1\end{bmatrix}\begin{bmatrix}0&0\\0&3\end{bmatrix}\begin{bmatrix}1&2\\2&1\end{bmatrix}^{-1}A=SΛS−1=[1221][0003][1221]−1，解之即可。
- AAA是一个实矩阵，且对任意矩阵BBB，AAA都不能分解成A=BTBA=B^TBA=BTB，给出AAA的一个例子
  
  我们知道BTBB^TBBTB是对称的，所以给出一个非对称矩阵即可。
- 矩阵AAA有正交的特征向量，但不是对称的，给出一个AAA的例子
  
  我们在三十三讲提到过，反对称矩阵，因为满足AAT=ATAAA^T=A^TAAAT=ATA而同样具有正交的特征向量，所以有A=[01−10]A=\begin{bmatrix}0&1\\-1&0\end{bmatrix}A=[0−110]或旋转矩阵[cos⁡θ−sin⁡θsin⁡θcos⁡θ]\begin{bmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{bmatrix}[cosθsinθ−sinθcosθ]，这些矩阵都具有复数域上的正交特征向量组。
最小二乘问题，因为时间的关系直接写出计算式和答案，[101112][CD]=[341](Ax=b)\begin{bmatrix}1&0\\1&1\\1&2\end{bmatrix}\begin{bmatrix}C\\D\end{bmatrix}=\begin{bmatrix}3\\4\\1\end{bmatrix}(Ax=b)⎣⎡111012⎦⎤[CD]=⎣⎡341⎦⎤(Ax=b)，解得[C^D^]=[113−1]\begin{bmatrix}\hat C\\\hat D\end{bmatrix}=\begin{bmatrix}\frac{11}{3}\\-1\end{bmatrix}[C^D^]=[311−1]。
- 求投影后的向量ppp：
  
  向量ppp就是向量bbb在矩阵AAA列空间中的投影，所以p=[p1p2p3]=[101112][C^D^]p=\begin{bmatrix}p_1\\p_2\\p_3\end{bmatrix}=\begin{bmatrix}1&0\\1&1\\1&2\end{bmatrix}\begin{bmatrix}\hat C\\\hat D\end{bmatrix}p=⎣⎡p1p2p3⎦⎤=⎣⎡111012⎦⎤[C^D^]。
- 求拟合直线的图像
  
  x=0,1,2x=0,1,2x=0,1,2时y=p1,p2,p2y=p_1,p_2,p_2y=p1,p2,p2所在的直线的图像，y=C^+D^xy=\hat C+\hat Dxy=C^+D^x即y=113−xy=\frac{11}{3}-xy=311−x。
- 求一个向量bbb使得最小二乘求得的[C^D^]=[00]\begin{bmatrix}\hat C\\\hat D\end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}[C^D^]=[00]
  
  我们知道最小二乘求出的向量[C^D^]\begin{bmatrix}\hat C\\\hat D\end{bmatrix}[C^D^]使得AAA列向量的线性组合最接近bbb向量（即bbb在AAA列空间中的投影），如果这个线性组合为000向量（即投影为000），则bbb向量与AAA的列空间正交，所以可以取b=[1−21]b=\begin{bmatrix}1\\-2\\1\end{bmatrix}b=⎣⎡1−21⎦⎤同时正交于AAA的两个列向量。