第一章 - 矩阵和高斯消元

1、线性等式从几何角度的理解

例如2x−y=1;x+y=52x-y=1\ ; x+y=52x−y=1 ;x+y=5
● 从行（row）的角度看，解是两根直线（可以看成一种平面）的交点，因此可能有0，1和∞\infty∞三种情况。0和∞\infty∞都是奇异（singular）的。
● 从列（cloumn）的角度看，可以看成(2,1)(2,1)(2,1)和(−1,1)(-1,1)(−1,1)通过线性组合(x,y)(x,y)(x,y)得到(1,5)(1,5)(1,5)。此时线性组合(x,y)(x,y)(x,y)也可能有0，1和∞\infty∞三种情况。0和∞\infty∞都是奇异（singular）的。

2、高斯消元法

例如对于线性等式：
2x+y+z=54x−6y=−2−2x+7y+2z=9\begin{matrix} 2x & + & y & + & z & = & 5\\ 4x & - & 6y & & & = & -2\\ -2x & + & 7y & + & 2z & = & 9 \end{matrix}2x4x−2x+−+y6y7y++z2z===5−29
将其左边和右边合并后可以得到增广矩阵如下：
[21154−60−2−2729]\begin{bmatrix} 2& 1 & 1 & 5\\ 4& -6 & 0 & -2\\ -2& 7 & 2 & 9 \end{bmatrix}⎣⎡24−21−671025−29⎦⎤
使用高斯消元法对增广矩阵消元：
[21154−60−2−2729]\begin{bmatrix} 2& 1 & 1 & 5\\ 4& -6 & 0 & -2\\ -2& 7 & 2 & 9 \end{bmatrix}⎣⎡24−21−671025−29⎦⎤ →\rightarrow→ [21150−8−2−1208314]\begin{bmatrix} 2& 1 & 1 & 5\\ 0& -8 & -2 & -12\\ 0& 8 & 3 & 14 \end{bmatrix}⎣⎡2001−881−235−1214⎦⎤ →\rightarrow→ [21150−8−2−120012]\begin{bmatrix} 2& 1 & 1 & 5\\ 0& -8 & -2 & -12\\ 0& 0 & 1 & 2 \end{bmatrix}⎣⎡2001−801−215−122⎦⎤
等到一个类似上三角矩阵的简化矩阵，之后再使用回代法即可依次求出xyzx \ y \ zx y z各自的值。

算法复杂度

设复杂度单位是一次乘减运算，左侧矩阵是n×nn\times nn×n的方阵。
●左侧：
n(n−1)+⋅⋅⋅+1(1−0)=(12+⋅⋅⋅+n2)−(1+⋅⋅⋅+n)=n3−n3n(n-1)+\cdot\cdot\cdot+1(1-0)=(1^2+\cdot\cdot\cdot+n^2)-(1+\cdot\cdot\cdot+n)=\frac{n^3-n}{3}n(n−1)+⋅⋅⋅+1(1−0)=(12+⋅⋅⋅+n2)−(1+⋅⋅⋅+n)=3n3−n
●右侧：
[1+⋅⋅⋅+(n−1)]=n(n−1)2[1+\cdot\cdot\cdot+(n-1)]=\frac{n(n-1)}{2}[1+⋅⋅⋅+(n−1)]=2n(n−1)

消元法的特例：

●交换行：
{x+y+z=52x+2y+5z=−24x+6y+8z=9\left\{ \begin{matrix} x & + & y & + & z & = & 5\\ 2x & + & 2y & + & 5z & = & -2\\ 4x & + & 6y & + & 8z & = & 9 \end{matrix} \right.⎩⎨⎧x2x4x+++y2y6y+++z5z8z===5−29 →\rightarrow→ {x+y+z=53z=−122y+4z=−11\left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & & & 3z & = & -12\\ & & 2y & + & 4z & = & -11 \end{matrix} \right.⎩⎨⎧x+y2y++z3z4z===5−12−11 →rowexchange\xrightarrow[]{row \ exchange}row exchange {x+y+z=52y+4z=−113z=−12\left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & 2y & + & 4z & = & -11\\ & & & & 3z & = & -12\end{matrix} \right.⎩⎨⎧x+y2y++z4z3z===5−11−12
●无解时：
{x+y+z=52x+2y+5z=−24x+4y+8z=9\left\{ \begin{matrix} x & + & y & + & z & = & 5\\ 2x & + & 2y & + & 5z & = & -2\\ 4x & + & 4y & + & 8z & = & 9 \end{matrix} \right.⎩⎨⎧x2x4x+++y2y4y+++z5z8z===5−29 →\rightarrow→ {x+y+z=53z=−124z=−11\left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & & & 3z & = & -12\\ & & & & 4z & = & -11 \end{matrix} \right.⎩⎨⎧x+y+z3z4z===5−12−11 。
3z=−123z=-123z=−12 和4z=−114z=-114z=−11矛盾，所以无解。
●无穷多解时：
{x+y+z=52x+3y+5z=−24x+5y+7z=8\left\{ \begin{matrix} x & + & y & + & z & = & 5\\ 2x & + & 3y & + & 5z & = & -2\\ 4x & + & 5y & + & 7z & = & 8 \end{matrix} \right.⎩⎨⎧x2x4x+++y3y5y+++z5z7z===5−28 →\rightarrow→ {x+y+z=5y+3z=−12y+3z=−12\left\{ \begin{matrix} x & + & y & + & z & = & 5\\ & & y & + & 3z & = & -12\\ & & y & + & 3z & = & -12 \end{matrix} \right.⎩⎨⎧x+yyy+++z3z3z===5−12−12 。
yyy和zzz只要满足y+3z=−12y+3z=-12y+3z=−12即可，所以有无穷多解。

3、矩阵乘法

一些定律：

●结合律：(AB)C=A(BC)(AB)C=A(BC)(AB)C=A(BC)
●分配律：A(B+C)=AB+ACA(B+C)=AB+ACA(B+C)=AB+AC
●一般不满足交换律

内积（Inner product）：

两个向量的点积，或1×n1\times n1×n的行矩阵与n×1n\times 1n×1的列矩阵相乘，值为标量。

矩阵乘法的4种理解：

对于AB=CAB=CAB=C的情况(AAA的大小是m×nm\times nm×n，BBB的大小是n×pn\times pn×p)：
●从CCC中各个元素的角度理解：
Ci,j=C_{i,j}=Ci,j=(row iii of AAA) times (column jjj of BBB)=∑k=1nAi,kBk,j=\sum_{k=1}^{n}A_{i,k}B_{k,j}=∑k=1nAi,kBk,j
●从CCC中各行的角度理解：
Ci,:=C_{i,:}=Ci,:=(row iii of AAA) times BBB =Ai,:B=A_{i,:}B=Ai,:B
●从CCC中各列的角度理解：
C:,j=C_{:,j}=C:,j= AAA times (column jjj of BBB)=AB:,j=AB_{:,j}=AB:,j
●从AAA的列与BBB的行相乘的角度理解：
C=C=C= ∑k=1n\sum_{k=1}^{n}∑k=1n(column kkk of AAA) times (row kkk of BBB)=∑k=1nA:,kBk,:=\sum_{k=1}^{n}A_{:,k}B_{k,:}=∑k=1nA:,kBk,:

4、三角因式分解（LU或LDU、LDV分解）

●LULULU和LDVLDVLDV分解是唯一的。
●A=LUA=LUA=LU，设LLL是n×nn\times nn×n的方阵，则：
L=L=L= [10⋅00l2,11⋅00⋅⋅⋅⋅⋅ln−1,1ln−1,2⋅10ln,1ln,2⋅ln,n−11]\begin{bmatrix} 1& 0 & \cdot & 0 & 0 \\ l_{2,1}& 1 & \cdot & 0 & 0 \\ \cdot& \cdot & \cdot & \cdot & \cdot \\ l_{n-1,1} & l_{n-1,2}& \cdot & 1& 0 \\ l_{n,1} & l_{n,2} & \cdot & l_{n,n-1} &1 \end{bmatrix}⎣⎢⎢⎢⎢⎡1l2,1⋅ln−1,1ln,101⋅ln−1,2ln,2⋅⋅⋅⋅⋅00⋅1ln,n−100⋅01⎦⎥⎥⎥⎥⎤
其中li,jl_{i,j}li,j表示第iii行第jjj列的元素，其值等于第iii行第jjj列元素消元时所需要减去第jjj行的系数。
UUU是AAA经过消元后得到的上三角矩阵。
●A=LDVA=LDVA=LDV（为了避免歧义，这里用A=LDVA=LDVA=LDV而不用A=LDUA=LDUA=LDU）
这里的DVDVDV等于LULULU分解中的UUU，VVV是对对角线都是1的上三角矩阵，
D=D=D= [u1,10⋅00u2,2⋅0⋅⋅⋅⋅00⋅un,n]\begin{bmatrix} u_{1,1}& 0 & \cdot & 0 \\ 0& u_{2,2} & \cdot & 0 \\ \cdot& \cdot & \cdot & \cdot \\ 0 & 0& \cdot & u_{n,n} \end{bmatrix}⎣⎢⎢⎡u1,10⋅00u2,2⋅0⋅⋅⋅⋅00⋅un,n⎦⎥⎥⎤
其中uk,ku_{k,k}uk,k表示UUU中对角线上的元素。
●通过LULULU分解可以把一个线性系统分解为两个三角系统，从而减小计算复杂度。

5、置换矩阵PPP

●PPP是通过将III的行或列进行交换得到的。
●P−1=PTP^{-1}=P^{T}P−1=PT
●矩阵非奇异时，总可以通过行置换的方法避免主元为0；矩阵奇异时，无论如何置换行，其总有主元为0。

6、矩阵的逆和转置

逆：

●只有非奇异矩阵（主元总可以通过行置换的方法避免为0）才有逆。
●如果存在x≠0x\neq 0x=0使得Ax=0Ax=0Ax=0，那么AAA没有逆。
●(AB)−1=B−1A−1(AB)^{-1}=B^{-1}A^{-1}(AB)−1=B−1A−1
●高斯-若尔当方法（Gauss-Jordan）求逆：
Ax=I→[AI]→[LUI]→[UL−1]→[IU−1L−1]→[IA−1]Ax=I \rightarrow \begin{bmatrix} A & I \end{bmatrix} \rightarrow \begin{bmatrix} LU & I \end{bmatrix} \rightarrow \begin{bmatrix} U & L^{-1} \end{bmatrix} \rightarrow \begin{bmatrix} I & U^{-1}L^{-1} \end{bmatrix} \rightarrow \begin{bmatrix} I & A^{-1} \end{bmatrix}Ax=I→[AI]→[LUI]→[UL−1]→[IU−1L−1]→[IA−1]
●对于Ax=bAx=bAx=b ，使用消元法比直接用逆求xxx更快：
Ax=b→Lc=bUx=cAx=b \rightarrow Lc=b \quad Ux=cAx=b→Lc=bUx=c

转置：

●定义：(AT)ij=Aji(A^{T})_{ij}=A_{ji}(AT)ij=Aji
●(A+B)T=AT+BT(A+B)^{T}=A^{T}+B^{T}(A+B)T=AT+BT
●(AB)T=BTAT(AB)^{T}=B^{T}A^{T}(AB)T=BTAT
●(A−1)T=(AT)−1(A^{-1})^{T}=(A^{T})^{-1}(A−1)T=(AT)−1

对称矩阵：

●定义：AT=AA^{T}=AAT=A
●任意矩阵RRR乘它的转置RTR^{T}RT就可以得到对称矩阵
●不需要行交换就能做LDULDULDU分解的矩阵其U=LTU=L^{T}U=LT

7、特殊矩阵和舍入误差

特殊矩阵：

对于u(x)u(x)u(x)，其二阶差分为： −f(x)=d2udx2≈Δ2uΔx2=u(x+h)−2u(x)+u(x−h)h2→−uj+1+2uj−uj−1=h2f(jh)-f(x)=\frac{\mathrm{d^{2}} u}{\mathrm{d} x^{2}} \approx \frac{\mathrm{\Delta ^{2}} u}{\mathrm{\Delta } x^{2}}=\frac{u(x+h)-2u(x)+u(x-h)}{h^{2}} \rightarrow -u_{j+1}+2u_{j}-u_{j-1}=h^{2}f(jh)−f(x)=dx2d2u≈Δx2Δ2u=h2u(x+h)−2u(x)+u(x−h)→−uj+1+2uj−uj−1=h2f(jh)
可以写出其矩阵形式：
[2−1−12−1−12−1−12−1−12][u1u2u3u4u5]=h2[f(h)f(2h)f(3h)f(4h)f(5h)]\begin{bmatrix} 2 & -1 & & & \\ -1 & 2 & -1 & & \\ & -1 & 2 & -1 & \\ & & -1 & 2 & -1\\ & & & -1 & 2 \end{bmatrix} \begin{bmatrix} u_{1} \\ u_{2} \\ u_{3} \\ u_{4} \\ u_{5} \end{bmatrix} =h^{2}\begin{bmatrix} f(h) \\ f(2h) \\ f(3h) \\ f(4h) \\ f(5h) \end{bmatrix}⎣⎢⎢⎢⎢⎡2−1−12−1−12−1−12−1−12⎦⎥⎥⎥⎥⎤⎣⎢⎢⎢⎢⎡u1u2u3u4u5⎦⎥⎥⎥⎥⎤=h2⎣⎢⎢⎢⎢⎡f(h)f(2h)f(3h)f(4h)f(5h)⎦⎥⎥⎥⎥⎤
之后再使用LDLTLDL^{T}LDLT可以减少计算量。

舍入误差：

●行列式的值如果接近0，此时在计算机进行消元时，由于舍入误差的放大效应可能会使结果偏差较大。
●在计算机进行消元时，通常会进行行交换，以将待消元列上的最大值作为主元，这样可以减小舍入误差。

Gilbert Strang《Linear Algebra》知识点——第一章相关推荐

计算机网络自考第一章知识点,完整版18版自考04741计算机网络原理知识点第一章...
<完整版18版自考04741计算机网络原理知识点第一章>由会员分享,可在线阅读,更多相关<完整版18版自考04741计算机网络原理知识点第一章(5页珍藏版)>请在人人文库网上搜 ...
高中数学必修4知识点:第一章三角函数（复习必备）pdf
大家好,昨天高中数学必修2知识点分享完了,今天继续分享高中数学必修4知识点第一章三角函数,老师为了大家整理好第一章三角函数知识点文档. 好了,今天高中数学必修4知识点第一章三角函数分享就到这里了,需要 ...
【软考系统架构设计师】复盘架构设计师真题知识点第一章---安全分析与设计
[软考系统架构设计师]复盘架构设计师真题知识点第一章-安全分析与设计复盘架构设计师真题知识点第一章---安全分析与设计 [软考系统架构设计师]复盘架构设计师真题知识点第一章---安全分析与设计第一 ...
DVB-S 相关知识点第一章--卫星电视简介
目录前言系列文章卫星电视标准: 卫星电视特点卫星电视系统组成: 卫星电视信号传输过程: 卫星电视节目来源卫星信号传输图卫星天线系统简介卫星天线组成: 卫星天线种类: 卫星天线系统组成简介 ...
数据结构—绪论（基本知识点第一章）
第一章数据结构绪论目录第一章数据结构绪论什么是数据结构? 1.3数据结构起源 1.4基本概念和术语 1.4.1数据 1.4.2数据元素 1.4.3数据项 1.4.4数据对象 1.4.5数据结构 ...
自考计算机原理知识点,(完整版)18版自考04741《计算机网络原理》知识点——第一章...
第一章计算机网络概述重点.难点 1.重点 (1)计算机网络基本概念 (2)分组交换网络工作原理 (3)计算机网络性能指标及其计算 (4)OSI参考模型与TCP/IP参考模型 2.难点 (1)分层网络 ...
东北大学操作系统中文课件知识点第一章
目录操作系统第1章操作系统原理--前言什么是操作系统(操作系统的定义,考试的重点) 中断(interrupt): I/O结构异步(Asynchronous) 存储结构(Storage S ...
操作系统-期末知识点第一章
第1章计算机系统概述操作系统的概念操作系统 (Operating System,简称OS)是指控制和管理整个计算机系统的硬件与软件资源,合理地组织.调度计算机的工作与资源的分配,进而为用户和其他 ...
图形学教程Lecture 2: Review of Linear Algebra知识点总结
视频链接:https://www.bilibili.com/video/BV1X7411F744?p=2 课程主页链接:http://games-cn.org/intro-graphics/ 课件PP ...

Gilbert Strang《Linear Algebra》知识点——第一章

第一章 - 矩阵和高斯消元

1、线性等式从几何角度的理解

2、高斯消元法

3、矩阵乘法

4、三角因式分解（LU或LDU、LDV分解）

5、置换矩阵PPP

6、矩阵的逆和转置

7、特殊矩阵和舍入误差

Gilbert Strang《Linear Algebra》知识点——第一章相关推荐

最新文章

热门文章