线性代数基础13--相似矩阵与奇异值分解
1,正定矩阵补充
如果矩阵A为正定矩阵,那么A的逆矩阵也一定是正定矩阵,因为其特征值等于A特征值的倒数.
如果A,B矩阵正定,那么A+B矩阵也正定.注意这里A+B矩阵的特征值不一定等于A,B特征值相加.
那么正定矩阵,除了导数矩阵外,还可以从哪得来呢?
在最小二乘法与投影中使用的A转置×A,A可逆那么就是正定矩阵.
如果A转置×A可逆,最小二乘法函数有最优解,这句话说明正规方程求解过程中
如果A不满秩(A转置×A的秩与A的秩相同),那么正规方程就没有唯一解.
这里是证明过程,A也并不再要求是方阵.
2,相似矩阵
我们之前学的就是A相似于对角矩阵,但是如果不用特征矩阵,用别的矩阵M,A也可能相似于另一个矩阵B.其中M一定可逆.
例子
A与对角矩阵相似,并且还与B矩阵相似,有性质:B与A的特征值相同,有相同数量的特征向量,对于不可对角化的矩阵还要求分块相同.
这里可以看到相似是非常大的一个概念.
之前的相似对角化,是相似的一种特殊情况,可逆矩阵M也极为特殊.现在我们来讨论一般情况.
证明如下
并且可以得到B的特征向量等于M的逆×A的特征向量.
这里对角矩阵只与本身相似,下面的矩阵叫做jordan标准型矩阵,他是最接近对角矩阵的一个矩阵,并且不可以相似对角化.但是可以找到相似矩阵.
也就是说当特征值都是重特征值的时候,只有一个矩阵可以相似对角化就是对角矩阵,其他的特征值相同的矩阵,一定不可以相似对角化.并且都只有一个特征向量.
对于上图两个矩阵,都不可相似对角化,并且有相同的4重特征值,相同数量的特征向量,但是由于分块不同,所以两个矩阵并不相似.jordan块的数量就等于特征向量的数量.
jordan块如下:必须是对角线上的元素为1.
jordan定理.
每个矩阵A都相似于一个jordan矩阵.每个jordan块对应于一个特征向量,那么对于特征值互不相同的矩阵来说,jordan矩阵就变成了对角矩阵,对于重特征值情况,如果矩阵也是可以相似于对角矩阵的,那么也是对角矩阵,如四重特征值对应四个特征向量,表示这一四重特征值在相似于jordan矩阵时,会产生4个jordan块.也就是几何重数=代数重数的情况.
如果几何重数不等于代数重数,那么就会出现二阶的jordan块,这就与对角矩阵有区别了.
从上面可以看出,对角矩阵就是特殊的jordan矩阵,也是矩阵论的研究内容.
3,奇异值分解.
将行空间中的一组正交基通过A矩阵变换,变为列空间中的一组正交基.
其中参数δ是变换后每个列向量的伸缩因子.这就是我们要对图形进行的操作.
这个δ还是一个对角矩阵.
这里也可以把零空间的基向量补在后面,但是最终的结果一定是U矩阵中出现0,对应得δ参数也是0.因为0空间与行空间相互正交.
对于对称矩阵是一种特殊的例子,它的V和U矩阵都是Q,是相同的,而其他矩阵则是分解为两个不同的正交矩阵.
这里注意V,U都是标准正交矩阵
这样通过A得转置×A我们就将U消去,得到只含有V和δ的结果.
我们通过A的转置×A得到一个正定矩阵,那么V就是这个正定矩阵的特征矩阵.
我们通过A×A的转置得到一个正定矩阵,那么U就是这个正定矩阵的特征矩阵.
这里出现错误的原因是我们无法考虑方向.
并且求出的V和U有具体的含义,就是行空间与列空间的两组标准正交基.
例二简单在于列空间与行空间的标准基只有一个.并且在最后由于需要配合中间的δ矩阵,我们把V和U都扩充成了2×2,但是其实添加进去的零空间向量与左零空间向量是完全不起作用的与填充[0,0]的效果相同.
这里注意奇异值分解可以适用于任何矩阵.如果是非方阵(m×n并且m>n)的情况,关键在于列空间与左零空间,行空间与0空间的相互补充.这里非方阵分解时中间的δ矩阵有两种解决方法,
一是将0也写出来构成m×m的矩阵,这样U为m×m,V的转置为m×n(这里左零空间的向量无法放入就用0代替)
二是,将0去掉,构成m×n的矩阵,这样U为m×m,V的转置为n×n
第二种方法自然一点.那么m×n是如何变成一个对角矩阵的呢?
如果特征值为1,2,0,那么3×2矩阵如下:本来还有一行000,被去掉了
[1 0
0 2
0 0
]
线性代数基础13--相似矩阵与奇异值分解相关推荐
- 人工智能之数学基础篇—线性代数基础（下）
人工智能之数学基础篇-线性代数基础(下) 1 转置矩阵和逆矩阵 1.1 转置矩阵 1.2 逆矩阵 2 行列式 2.1 行列式引例 2.2 行列式的定义 2.3 行列式与矩阵的区别 2.4 行列式的计算 ...
- 矩阵论（零）：线性代数基础知识整理（5）——特征值与相似
矩阵论专栏:专栏(文章按照顺序排序) 本篇博客的上篇是矩阵论(零):线性代数基础知识整理(4)--线性空间与线性变换,梳理了线性空间与线性变换的相关内容.本文主要整理矩阵的特征值与相似的相关内容. 方 ...
- 张量网络算法基础（一、张量和线性代数基础）
张量和线性代数基础 一.张量基础 1. 张量的定义 2. 张量的基本操作和运算 二.线性代数基础 1. 本征值分解与最大本征值问题 本征值分解 最大本征值问题 最大本征值问题的幂级数求解法 2. 奇异 ...
- 科学计算：Python VS. MATLAB(3)----线性代数基础
科学计算:Python VS. MATLAB(3)----线性代数基础 按:在介绍工具之前先对理论基础进行必要的回顾是很必要的.没有理论的基础,讲再多的应用都是空中楼阁.本文主要设涉及线性代数和矩阵论 ...
- matlab第八章答案,MATLAB课件第八章线性代数基础
<MATLAB课件第八章线性代数基础>由会员分享,可在线阅读,更多相关<MATLAB课件第八章线性代数基础(15页珍藏版)>请在人人文库网上搜索. 1.第八章 线性代数基础1. ...
- 人工智能数学课高等数学线性微积分数学教程笔记（3. 线性代数基础）
前言 对人工智能数学课高等数学线性微积分数学教程的学习笔记.主要用于快速回忆已学的数学知识点,不适合基础学习.博客园中同步更新. 文章目录 人工智能数学课高等数学线性微积分数学教程笔记(目录) 人工智 ...
- 人工智能之数学基础篇—线性代数基础（上）
人工智能之数学基础篇-线性代数基础(上) 1 向量 1.1 标量 1.2 向量 1.3 向量的两个基本运算 1.3.1 向量的加法 1.3.2 向量的数乘 1.4 向量与数据 2 矩阵 2.1 矩阵的 ...
- 线性代数基础知识整理
线性代数基础知识 因为总是忘记线代的一些基础知识,因此在这里整理记录一下. 1.常见的特殊矩阵 1.1.正交矩阵 定义:对于一个n维矩阵A,若满足以下条件,则A为正交矩阵. A A T = I n A ...
- 矩阵论（零）：线性代数基础知识整理（2）——矩阵的秩与向量组的秩
矩阵论专栏:专栏(文章按照顺序排序) 本篇博客承接上篇矩阵论(零):线性代数基础知识整理(1)--逆矩阵.初等变换.满秩分解,主要整理秩相关的结论. 线性方程组的解与向量组的秩 线性方程组的解(初步讨 ...
- [.net 面向对象编程基础] (13) 面向对象三大特性——多态
[.net 面向对象编程基础] (13) 面向对象三大特性--多态 前面两节,我们了解了面向对象的的封装和继承特性,面向对象还有一大特性就是多态.比起前面的封装和继承,多态这个概念不是那么好理解.我们 ...
最新文章
- harris角点检测与ncc匹配
- Python入门篇-functools
- java.util.regex包下的Pattern和Matcher详解（正则匹配）
- android自定义滚轴选择器_Android自定义滚动式时间选择器（在他人基础上修改）...
- Spring MVC一事务控制问题
- mysql必知必会--用通配符进行过滤
- mybatis 多参数处理
- MapReduce 初学总结
- 苹果id无法登陆_教你在iPhone上如何注册 ID帐户，并注意使用事项
- 西电网络攻防大赛--渗透测试第三题
- 阿里云购买域名到建站的全流程怎么做？
- 计算机基础知识学习顺序
- 案例教程：一步步教你ps制作二寸照片
- 计算机基础知识教程excel函数计算,计算机基础知识：Excel中的函数操作（四）...
- kaggle验证手机收不到验证码
- 洛谷【P1873】 砍树 简单二分解析
- 设计师：设计师知识储备(硬装、软装、榻榻米、马卡龙、地台、公共空间、玄关、闭水实验)之详细攻略
- shell脚本实践：自动清理文件，以时间方式形成路径的图片或者是Excel、pdf等文件
- 程序员的自我修养，不断提升认知，赚他个1000万不香吗？
- Thinkphp实战（一）——项目配置与模板导入