考试要求

• 线性方程组会考大题，分值最重，占到28分。
• 主要考：有一般矩阵转化为特殊矩阵的方法进行求解：消元法、矩阵分解和迭代法三个方法
• 第一问：给出三元线性方程组，使用doolittle进行分解。
• 第二问：Richardson迭代，当α在什么范围内迭代格式是收敛的，当α取什么值，收敛最快。
• Jacobi迭代考核方式：给你的初值，迭代一次X1的结果。jacobi仅考迭代一次的结果。要回构造迭代格式。
• Gauss-Seidel迭代考核：给你初值，迭代一次的结果。要回构造迭代格式。
• 第三问：收敛性判定，稀疏矩阵A严格对角占优，一定收敛。如果是弱对角占优，并且不可约，也是一定收敛。
• 第四问：当α的范围，对于任何初值都迭代，处于多少时，收敛最快。

基础知识

• 线性方程组：针对适定的线性方程组
  
• 系数矩阵A可逆，则存在唯一的解
• 克莱姆法则：实际的计算量很大，很繁琐。
  
• 当前你所能求解的矩阵：对角矩阵，上三角矩阵和下三角矩阵。
  
  
  

一般求解思路

• 最主流的方法：通过多重网格对系数矩阵进行预处理，然后在使用Krylov子空间迭代，进行网络加速。

消元法

高斯消元法

• A可逆，并不能保证一定能进行高斯消元。所有顺序主子式均不为零，才能保证高斯消元。同时所有顺序主子式不为零，一定可逆，但是可逆不一定所有顺序主子式都不为零。
• 同时，主元位置的绝对值非常小的话，会带来很大的绝对误差，数值不稳定，所以高斯消元需要对数据进行处理。
  

小主元导致的计算失误

高斯列主元素消去法（期末考试要求之一）

• 考试时，会让你按列选主元，如果直接用线性代数消元法，只会有结论分。
  
• 也可以的交换列，但是要记住你换的那两列，然后将列恢复原来的数据
• 全选主元的高斯消元法，一般并不会使用，因为选取的范围太大了。
• 一般来说，高斯消元法都是按列选主元，不选主元，叫做高斯顺序消元法

高斯消元法例题（期末必考）

高斯消元法的优缺点

• 实际上解的矩阵是大规模稀疏矩阵。

减少fill-in现象（了解）

• fill-in现象：将矩阵中为零的行列变为非零的位置。
• 解决办法：最小度排序，尽量减少fill-in现象

矩阵分解

• 高斯消元的过程：将A分解成单位下三角矩阵L和上三角矩阵U，仅仅是LU分解的一个特例。但是简称LU分解默认是Doolittle分解。
  

Doolittle分解例题（本大题第一题，必考）

• 先做Doolittle分解，然后再代入公式进行计算

迭代法

前奏知识

向量范数（了解）

• 范数的三条准则
  
• 非负性：将任何结果映射为的非负数
• 齐次性：数乘仍旧相等
  
• 有限维空间上的任何两个范数都是等价的。数学上等价的，但是数值上未必是等效的。
  
• 向量序列收敛到一个向量：向量序列每一个分量都收敛到一个值，这些个值构成了一个向量。

• 下述为向量序列依分量收敛到向量的要求
  

矩阵范数（了解）

• 默认是关注方阵的范数
  
• 根据向量范数定义矩阵的范数，将矩阵A看成一个从Rn到R的线性映射。

• 谱范数：(A转置)乘以A，最终结果一定是实对称的，并且是半正定的（特征值大于等于零），谱范数是
• 列范数：每一列求和，并找出最大的一列
• 行范数：每一行求和，并取出最大的。
• F-范数：不是算子范数，并不是的通过向量的上确界诱导出来的
  

谱半径（重要）

• 任何一个n阶方阵，一定有n个特征值。但是n阶方阵的特征值不一定是实数，有可能是复数。
• 谱半径：每一个特征值取模，然后最大的模就是谱半径。所有算法的收敛性，都和谱半径有关。
• 谱半径不好算，通过矩阵的范数来计算谱半径，再通过谱半径来判定算法是否收敛。矩阵的任何一个范数，都是谱半径的上界。很重要的数学基础
• x是特征向量，非零向量。

方阵序列的收敛性（挺重要的，后面会用到，但是不会考）

• 方阵序列依分量收敛到对应方阵。

• 方阵A的k次幂收敛到零矩阵的条件，A的矩阵的任何一个特征值的模都小于1，然后最大的谱半径，就小于1.
• 定理二，关于谱半径收敛到零矩阵的最为重要

矩阵条件数（必考）

• 数值不稳定，数值只要有一点误差，会导致极大的误差
• 相对误差经过求解之后，放大了很多倍，下述称为病态的方程组。
  
• A和A的逆矩阵的如果相称给很大，有可能会放大误差。
  
• A是可逆矩阵，A的范数和A逆矩阵的范数的乘积为条件数
• 条件数并不是一个确定的数，不同的范数对应的条件数差异不大
• 条件数能够用来刻画差别，条件数的大小，用来决定方程是否病态。
  

条件数的性质

• 单位阵的条件数是1，并不会放大误差。

• 实数乘以条件数，并不会放大对应条件数。

• 如果A是对称的，其中一种特征根的计算方式为最大特征是比上最小特征值。

• 正交矩阵，特征值为模为1，所有正交矩阵的条件数都是一，正交矩阵乘以一个矩阵，条件数不变。
  

• 通过的条件数判定对应线性方程组的解，是否病态，是否能够对扰动进行有效规避。
  

• 很多情况下条件数计算不出来，因为A的逆矩阵计算不出来。

• 注意下述三个判定条件，通过这三个条件判定条件数，进而判定线性方程组是否为病态。

• 特征值虽然具体很难，但是估计还是很好做的，可以通过圆盘定理。n个特征值求不出来，但是可以判断对应位置。判定出最大是多大，最小是多小。

使用条件数判定方程组是否病态（了解）

构造迭代格式

• 针对大型稀疏矩阵作为稀疏矩阵，一般用迭代法，变为两个矩阵相乘或者相加。
  
• 迭代是收敛的，极限就是对应解。不是原来线性方程的准确解，而是解的精确近似
  

收敛性证明

• 谱半径小于1，是对于任意的初值都收敛。反命题，就是不一定对任意的值都收敛，如果第一次就猜到了解，就不用在进行迭代。而且如果谱半径不小于1，对于初值的要求很高。
  
• 谱半径不好算，通过范数来计算谱半径的大小。如果范数小于一，那么谱半径一定小于一。谱半径小于任何范数。
• 所以一般通过范数来计算对应谱半径，来判定是否是收敛的。

停机准则

Richardson迭代（必考）

• M是最简单的可逆n阶方阵，单位矩阵。但是M为单位阵，未必会很好的收敛。所以更一般的矩阵应该是数量矩阵（常数*单位矩阵）。

参数选择

• 这里是将α带入计算，然后确定ρ（B）。在谱半径中，最优值还可以看到条件数。对于正定矩阵而言，最优收敛速度，取决于矩阵A的条件数，
  

Richardson迭代样例

• 会求三阶方阵的特征值
  

• 矩阵求特征值

Jacobi迭代（必考）

• 比Richardson迭代中数值对角阵更加普遍，对角线元素可以是不相等，最理想的方式就是直接提取出M矩阵的对角线元素。

• 注意，Jacobi迭代是逐个变量进行的更新的。
  

Jacobi迭代的例题（必考）

• 考试要求：给你初值，然后仅仅迭代一次。
  
  

Gauss-seidel迭代（必考）

• 和Jacobi迭代近似，但是是使用每一次更新的最新值，局部使用最新值。
  
• G-S的矩阵分解
  

Gauss-Seidel迭代解方程组

收敛性证明补充——对角占优判定对应的矩阵

• 原来直接使用谱半径进行计算，或者使用范数进行计算，但是特征值很难计算，所以这里讨论直接看原始的系数矩阵A，或者在不计算出B的情况下，直接判定收敛性。

• 常规收敛性证明

• 通过范数或者谱半径来限定α的范围
  
  

• 主对角线的元素值，比当前行其他所有非主对角元素的绝对值求和大，就一定收敛
• 严格对角占优，一定是收敛的

• 严格对角占优和收敛性的关系
  
• 下述三个特征值，一个负数，两个正数，所以Richardson不收敛。
  

可约性（）

• 关于若对角占优的矩阵的收敛性的判定。
• 排列矩阵：对于单位阵，通过交换行的操作得到的矩阵，就是排列阵。
• P是对单位阵交换两行的操作，PT是对单位阵进行交换两列的操作。对原来矩阵A的元素，重新进行排列。
• 可约性，对角块一定要是方阵，不是方阵不行，对于三乘三的矩阵，仅仅只有两种画法。
• 注意：是先交换列，然后在交换行
• 注意：矩阵中，一定要有两个零元素
  
• 若对角占优，不一定可以收敛。但是若对角占优，而且不可约，那么一定可以收敛。
  

对称正定性和收敛性（必考）

• 这里对称正定性仅仅是对GS矩阵进行收敛的，按时对于Jacobi不一定收敛。

• 对称正定：对称，并且对角线元素是正的。

• 2D-A：和A有相同的对角线元素，但是其他的元素会变成A的元素的相反数。

收敛性分析证明（例题，必考）

• 矩阵是对称矩阵
• 正定矩阵：所有顺序主子式大于零。
• A对称正定，所以是GS收敛
• 2D-A：Jacobi不是收敛的，因为2D-A不是正定的。
  
• 上三角，主对角元素就是特征值。
• Guass-Seidel和Jacobi一块收敛的情况下，Gauss-Seidel往往收敛更快。
  

JS方法和GS方法的比较

• Jacobi收敛速度慢，但是可以并行。GS型是收敛速度快的，但是只能串行

预处理可以改变收敛性

总结

基础数学（七）——线性方程组的数值解法相关推荐

1. 数值计算方法第三章—线性方程组的数值解法知识点总结

   线性方程组的数值解法 本文参考书为马东升著<数值计算方法> 高斯消去法 顺序高斯消去法 通过初等变换消去方程组系数矩阵主对角线以下的元素,而使方程组化为等价的上三角形方程组 列主元高斯消去 ...

2. 【计算方法】线性方程组的数值解法

   题外话: 我上学期做了笔记的科目好像都炸了..像Java还有数据结构.计算方法也来做一个吧,反正迟早是要炸的 一.综述 线性方程组的解法可以分为两类:直接法和迭代法. 直接法通过有限四次运算得到精确解 ...

3. qr分解求线性方程组_计算方法/数值分析第三章 线性方程组的数值解法

   主要内容: 1.引言 2.高斯消去法 3.直接分解法 4.解线性方程组的迭代法 5.向量范数.矩阵范数及迭代法的收敛性 第一节 引言 用克拉姆求解线性方程组 第二节 高斯消去法 高斯消去法是一种古老的 ...

4. 数值计算方法 线性方程组的数值解法(4)---向量和矩阵范数(norm) 高斯-赛德尔(Gauss-Seidel)迭代、共轭梯度(Conjugate Gradient)迭代

   (范数部分matlab有现成函数,若有需要直接参照matlab_norm) 向量范数 设x∈Rn\boldsymbol x\in \boldsymbol R^nx∈Rn则范数||x||满足:∣∣x∣∣ ...

5. 数值计算方法--线性方程组的数值解法(3) 追赶法(Thomas)，选择主元(Pivoting)，求逆(Inversion)

   追赶法 追赶法适用于三对角矩阵,形如(XX000XXX000XXX000XXX000XX)\begin{pmatrix}X&X&0&0&0\\X &X& ...

6. 科学计算与数学建模-常微分方程数值解法 思维导图

   第七章 常微分方程数值解法

7. 数值分析 第七章 常微分方程的数值解法

   1 数值解法相关公式 1.1 为什么要研究数值解法? 所谓数值解法,就是设法将常微分方程离散化,建立差分方程,给出解在一些离散点上的近似值. 1.2 问题 7.1 一阶常微分方程初值问题的一般形式 { ...

8. [常微分方程的数值解法系列五] 龙格-库塔(RK4)法

   龙格-库塔法 简介 基本思想 具体方法 一阶 二阶 求解参数 特殊二阶 三阶 高阶 步长选择 例子 在惯性导航以及VIO等实际问题中利用IMU求解位姿需要对IMU测量值进行积分得到需要的位置和姿态,其 ...

9. 线性代数方程组数值解法

   线性代数方程组的数值解法 线性代数方程组数值解法 一.向量范数与矩阵范数 1.1 向量范数 1.1.1 满足三个条件(向量范数公理) 1.1.2 常用的向量范数 1.2 矩阵范数 1.2.1 矩阵范数 ...

最新文章

1. easy-mock写的一个简单的模拟二页的反馈
2. This version of MySQL doesn't yet support 'LIMIT IN/ALL/ANY/SOME subquery'
3. html的ol和ul和li,HTML 列表元素OL、UL、LI
4. 超大 Cookie 拒绝服务攻击
5. hdu 3333 树状数组+离线处理
6. oracle之单行函数之子查询
7. Object类入门这一篇就够了！
8. 批量生成6位数字_太准了，你是Excel高手or小白看这6个操作就知道了
9. Day_2_Python_str_list_dict的使用
10. 103.二叉树的锯齿形层次遍历：DFS解法
11. [转贴]深山红叶使用图文教程
12. 百度网盘下载提速，推荐3种亲测有效的方法
13. 2022年华为杯中国研究生数学建模竞赛A题思路
14. web前端html代码,WEB前端--HTML(示例代码)
15. 4G标准LTE成争执焦点 中兴华为或以和解收场
16. 计算机如何删除桌面是的视频,Win10怎么彻底删除此电脑中的文档视频音乐文件夹[多图]...
17. kobo glo安装koreader（刷ksm后）
18. 51CTO多功能双肩包【博客活动礼品】
19. swift 苹果登录
20. 基于android的记账本国内外研究现状,基于android系统的记账本的设计与实现.doc

热门文章

1. 命令行查看笔记本电脑电池使用状态
2. 半波对称振子方向图_求一个半波对称振子天线的CST仿真
3. SEXTANTE中调用任意C++控制台程序的简单例子
4. 怎么成为一个优秀.net软件工程师
5. Python读取xls文件报错：raise XLRDError(FILE_FORMAT_DESCRIPTIONS[file_format]+‘； not supported‘)
6. R语言plotly可视化：plotly可视化回归面（plane）、使用mesh3d和add_surface实现三维回归曲面
7. 7-42 sdut-循环-3-评委评分（II）
8. 小米电视安装电视家方法
9. 分枝定界法求哈密尔登回路问题的由表及里
10. AX6路由器开SSH、固化、刷openwrt