ai数学之矩阵特征值、特征向量、矩阵分解
特征值和特征向量的意义
从定义出发,Ax=cx:A为n阶矩阵,c为特征值,x为特征向量。
矩阵A乘以x表示,对向量x进行一次转换(旋转或拉伸)(是一种线性转换),而该转换的效果为常数c乘以向量x(即只进行拉伸)。
我们通常求特征值和特征向量即为求出该矩阵能使哪些向量(当然是特征向量)只发生拉伸,使其发生拉伸的程度如何(特征值大小)。这样做的意义在于,看清一个矩阵在那些方面能产生最大的效果(power),并根据所产生的每个特征向量(一般研究特征值最大的那几个)进行分类讨论与研究。
什么意思呢?
比如Ax = cx
x是一个向量,c是一个常数,那么cx只是使得这个向量发生了拉伸,而Ax = cx,所以Ax只是使x这个向量发生了一次拉伸操作,拉伸的幅度就是c,那么换句话来说呢,矩阵A的特征向量x,向量x可以认为是一个方向,那么可以说矩阵A的特征向量x就是矩阵A能够发挥作用的方向,作用的力度是c,如果x这个向量有多列的话,那么说明A能够发挥作用的方向有很多个(多个列向量),对应多个特征值c,那么我们一般作用力度比较大(c比较大)的那几个方向(特征向量)来研究
注意:上面的矩阵是n阶矩阵,也就是方阵,只有方阵才有特征值和特征向量
特征分解
前提,A必须是可对角化的,如果A是可对角化,并且是对称矩阵,那么
w 是A的所有特征向量构成的正交矩阵,thegma是特征值构成的对角阵
一个向量乘以A那么代表的意思是什么呢?
X * A = X * W * Thelma * W (T)
W是正交阵,一个向量乘以一个正交阵的话,向量大小不会改变,只会改变方向
所以X * W结果改变了X的方向,那么具体改变到那个方向了呢?
W是A的特征向量,意思就是A能在W这个方向对它进行缩放操作,或者只有在W这个方向上A矩阵才有对向量缩放的能力,
所以X * W它其实是将X转到W这个方向,因为只有转到X这个方向,A才能对X进行缩放或者起作用,
转到了X 这个方向后然后就是* Thelma,这个其实具体对X的每个维度缩放多少了,
最终* W (T),因为 W (T)也是正交的,所以也是转一个方向,他的方向肯定和W方向相反,所以* W (T)又将X转回了原来的方向,所以
X * A = X * W * Thelma * W (T)的含义是?
先讲X旋转到A矩阵可以缩放的(起作用)方向,然后进行缩放操作,然后在转回来
其实按照这个说法,那么只有一个矩阵A能被特征分解的话,那么它一定能够对某个向量进行缩放了
结论:
如果A只是一个方阵的话,那么A只能在它的特征向量的方向上对向量进行缩放,但是如果A是个对称方阵,并且能够对角化,也就是能够被特征分解为
上面的式子的话,那么A可以对任意方向的向量进行缩放了,它的过程是先旋转到它能够缩放的方向,然后进行缩放操作,然后再转回来
svd分解
我们上面也说了,只有方阵,并且是可对角化的,才能进行特征分解,那么不是方阵呢?能不能呢?答案是可以的
假设我们的矩阵A是一个
m×n
的矩阵,那么我们定义矩阵A的SVD为:
它的思路是,既然A不是方阵,那么A * A T ,肯定是方阵,A T * A肯定是方阵,上面的V矩阵就是A T * A的n个特征向量了,U矩阵就是A * A T的m个特征向量构成的矩阵了 中间的thegma是它们的特征值开根号
其中U和V都是正交阵
那么X * A = X * U * thegma * V T它的意义是什么呢?
先* U,因为 U也是正交阵,所以也是转一个方向,它这个方向是A * A T能够作用的方向
然后* thegma也就是进行缩放操作,也就是在A * A T能够作用的方向进行缩放
然后* V T,因为V也是个正交阵,所以也是进行旋转方向,但是因为 U和V不一样,也不是互为对称关系,所以它并不是转回来,而是转到另一个方向
就像下面过程:
ai数学之矩阵特征值、特征向量、矩阵分解相关推荐
- Python 矩阵特征值+特征向量+范数
#特征值 import numpy as np w, v = np.linalg.eig(np.array([[1, -2], [2, -3]])) print('特征值:{}\n特征向量:{}'.f ...
- Eigen 矩阵的特征值特征向量求解(EVD分解)
用Eigen库求解矩阵的特征值和特征向量. 矩阵的特征值特征向量求解(EVD分解) 一.EVD分解原理 1.特征值 2.特征值分解过程 二.EVD分解举例 三.Eigen库实求解特征值与特征向量 ...
- QR分解求矩阵特征值、特征向量 C语言
最近在看一个高光谱图像压缩算法,其中涉及到正交变换,计算正交变换时,需要对普通矩阵求其特征向量.想要在网上找一个现成的程序,可能是我百度的能力不强吧,居然真的没找见.好了废话不多说,下面进入正题. 计 ...
- 特征向量矩阵,特征值矩阵,矩阵的对角化分解
特征向量矩阵S,由矩阵A的所有线性无关的特征向量按列排列组成的矩阵. 特征值矩阵,有矩阵A的所有特征值放在对角线位置组成的对角矩阵. 矩阵对角化:AS = S(讲AS展开可以推导出这个公式) 上式两边 ...
- 矩阵特征值和特征向量求解——特征值分解
工程数学中,非常关键的一个地方,充分的理解矩阵值.矩阵向量的概念和物理意义对于理解机器学习中的,比如主成分分析算法的矩阵向量运算有很好的的帮助作用.
- 机器学习中的数学基础:(1)实际应用中矩阵特征值与特征向量的几何意义
关于特征值.特征向量的讲解有很多的教程,对于这些枯燥的数学基础怎么运用到自己的实际计算机视觉实验中,是一项很重要的任务.算法的底层其实就是数学公式的各种结合与推导,有时间不是我们不能很好的去理解这些算 ...
- 【机器学习中的数学基础】矩阵特征值、特征向量和特征值分解的几何意义
[机器学习中的数学基础]矩阵特征值.特征向量和特征值分解的几何意义 在<机器学习>西瓜书中的第十章提到了"多维缩放"(简称MDS)方法,该方法是一种经典的的降维方法.此 ...
- 矩阵特征值分解与奇异值分解含义解析及应用
本文转载自http://blog.csdn.net/xiahouzuoxin/article/details/41118351,仅用作个人学习. 特征值与特征向量的几何意义 矩阵的乘法是什么,别只告诉 ...
- 矩阵特征值分解与奇异值分解(SVD)含义解析及应用
原文链接:http://blog.csdn.net/xiahouzuoxin/article/details/41118351 特征值与特征向量的几何意义 矩阵的乘法是什么,别只告诉我只是" ...
最新文章
- [编程技巧] 巧用CPU缓存优化代码:数组 vs. 链表
- 【皇甫】☀一本好书 你值得浏览
- ELK日志分析系统(转)
- php 5.6.27 在某些机器上正常,在 Windows 10 64、PHP 5.6 下重命名中文名文件,提示错误的解决...
- PHP 利用cron 实现文章同步至新浪、网易等微博
- zynq的emio和axi_【ZYNQ7000学习之旅 - 01】EMIO练习
- Redis安装教程(各种坑)
- MySQL数据库语句
- NOI 2021 游记题解总结
- 马云的至暗时刻:支付宝事件、十月围城 | 阿里巴巴20年
- 计算机志愿者维修服务队,信息技术志愿者服务队
- java找出命题p和q的合取_从键盘输入两个命题变元p和q的真值-求它们的合取、析取、蕴含和等价的真值...
- 中国SaaS的机遇、战术和野心
- XStream 用法总结
- LoadRunner 11压测时碰到错误Error: missing newline in E:\xx\RCV.dat
- 分枝限界法求解流水线作业调度问题
- adb向模拟器传递文件
- 关于微信支付 二维码扫码支付
- 汉字转化成拼音,其实是有技巧的我教你
- 6步学会影视解说,一个月多赚7千多,保姆级教程
热门文章
- 查看 java 进程线程数_查看指定进程的线程数
- winform窗体热键设置
- 20145330 《网络对抗》 Eternalblue(MS17-010)漏洞复现与S2-045漏洞的利用及修复
- 基于Java+SpringBoot+Vue大创管理系统设计和实现
- 简易的万年历查询系统(C++版本)
- 航班动态查询api调用代码示例
- 房子隔音不好到底有多尴尬?网友:最怕出门碰到邻居了
- wxWidgets 简介
- 超级使用体验==笔记本电脑+机械键盘(合体)敲击咔咔咔
- python操作符顺序_Python语言中的操作符与运算顺序