广义瑞利商_瑞利商和广义瑞利商
最近在学习LDA,公式推导中很重要的部分就是瑞利商和广义瑞利商。
# 瑞利商定义
瑞利商函数是指这样的函数 ( , )
$$R(A,x) = \cfrac{X^{H}Ax}{X^{H}x}$$
其中 为$ × $的Hermitan矩阵。Hermitan矩阵,就是满足**共轭转置矩阵**和自己相等的矩阵,$A^{H}= $。$X^{H}$是$X$的共轭转置矩阵。
> **共轭转置矩阵**
矩阵有实数矩阵和复数矩阵。
转置矩阵仅仅是将矩阵的行与列对换
**共轭转置矩阵在将行与列对换后还要讲每个元素共轭一下**。
共轭就是将形如a+bi的数变成a-bi,实数的共轭是它本身。
所以,实数矩阵的共轭转置矩阵就是转置矩阵,复数矩阵的共轭转置矩阵就是上面所说的行列互换后每个元素取共轭
## 瑞利商的性质
瑞利商 ( , )有一个非常重要的性质,即它的最大值等于矩阵 最大的特征值,而最小值等于矩阵 的最小的特征值,也就是满足
$$\lambda_{min} \leq \cfrac{X^{H}Ax}{X^{H}x} \leq \lambda_{max}$$
当向量 是标准正交基时,即满足$X^{H}x=1$时,瑞利商退化为:$ ( , )=X^{H}Ax$,这个形式在谱聚类和PCA中都有出现。
# 广义瑞利商
广义瑞利商是指这样的函数$ ( , , )$:
$$R(A,B,x) = \cfrac{X^{H}Ax}{X^{H}Bx}$$
其中 为非零向量,而 , 为$ × $的Hermitan矩阵。 为**正定矩阵**。
> **正定矩阵**
正定和半正定这两个词的英文分别是positive definite和positive semi-definite,其中,definite是一个形容词,表示“明确的、确定的”等意思。
>【定义】(狭义定义)给定一个大小为 $ × $ 的实对称矩阵$A$,若对于任意长度为$n$的非零向量$x$,有 $X^{T}AX >= 0$ 恒成立,则矩阵$A$是一个正定矩阵。
>单位矩阵是正定矩阵 (positive definite)。
>半正定矩阵
>【定义2】(狭义定义)给定一个大小为 [公式] 的实对称矩阵 [公式] ,若对于任意长度为$n$的向量$x$,有 $X^{T}AX > 0$恒成立,则矩阵$A$是一个半正定矩阵。
它的最大值和最小值是什么呢?其实我们只要通过将其通过标准化就可以转化为瑞利商的格式。我们令$ = ^{−1/2} ^{′}$,($ ^{′}$是新定义的一个向量,待求值)则分母转化为:
> $x^HBx$
$= x'^H(B^{-1/2})^HBB^{-1/2}x' $
$= x'^HB^{-1/2}BB^{-1/2}x' = x'^Hx'$
其中$(B^{-1/2})^H$,由于$(B^{-1/2})^H=(B^{H})^{-1/2}$且$B$是Hermitan矩阵,所以$(B^{-1/2})^H=B^{-1/2}$;$B^{-1/2}BB^{-1/2}=B^{-1/2}B^{-1/2}B=B^{-1}B=1$
而分子转化为:
>$x^HAx = x'^HB^{-1/2}AB^{-1/2}x'$
此时我们的$ ( , , )$转化为$ ( , , ^{′})$:
>$R(A,B,x') = \frac{x'^HB^{-1/2}AB^{-1/2}x'}{x'^Hx'}$
利用前面的瑞利商的性质,我们可以很快的知道,$ ( , , ^{′})$的最大值为矩阵$B^{-1/2}AB^{-1/2}$的最大特征值。
由于方阵的特征值等于方阵转置的特征值,所以$B^{-1/2}AB^{-1/2}$的特征值等于 $(B^{-1/2}AB^{-1/2})^{T}$的特征值。
>$(B^{-1/2}AB^{-1/2})^{T}=(B^{-1/2})^{T}(AB^{-1/2})^{T}=B^{-1/2}(B^{-1/2})^{T}A^{T}=B^{-1/2}B^{-1/2}A=B^{-1}A$
>
**所以$ ( , , ^{′})的最大值威$矩阵$B^{-1}A$的最大特征值,而最小值为矩阵$B^{-1}A$的最小特征值。**
广义瑞利商_瑞利商和广义瑞利商相关推荐
- java 广义表_数组和广义表
数组和广义表 一.数组 1.定义 数组是数据结构的基本结构形式,它是一种顺序式的结构. 数组是存储同一类型数据的数据结构,使用数组时需要定义数组的大小和存储数据的数据类型. 2.分类 数组分为一维数组 ...
- java 广义表_数据结构:广义表的实现(Java)
Java实现广义表: package 广义表; import java.util.Stack; public class Test { public final int TAG_TABLE = 1; ...
- 广义高斯分布(GGD)和非对称广义高斯分布(AGGD)的形状参数快速估计
0 引言 广义高斯分布(generalized Gaussian distribution,GGD)和非对称广义高斯分布( asymmetric generalized Gaussian dist ...
- 高等数学笔记:第一p广义积分与第二p广义积分
繁星数学随想录·笔记卷 摘录卷 第一p广义积分与第二p广义积分 第一 ppp 广义积分--无穷区间的敛散性 讨论:∫a+∞dxxp(a>0)的敛散性解答:(1)p=1,∫a+∞dxx=lnx∣ ...
- 广义表-求广义表深度,建立广义表,复制广义表
广义表-求广义表深度,建立广义表,复制广义表 例: 广义表(a,(a,b),d,e,((i,j),k)) 求广义表的长度和深度 长度为5,深度为3 长度:有效逗号个数+1 深度:有效括号个数 求广义表 ...
- 广义表的长度和广义表的深度
广义表的长度和广义表的深度 广义表是对线性表的扩展--线性表存储的所有的数据都是原子的(一个数或者不可分割的结构),且所有的数据类型相同.而广义表是允许线性表容纳自身结构的数据结构. 广义表定义: 广 ...
- 广义线性模型_算法小板报(四)——初探广义线性模型和最大熵模型
一.简介 1948年信息论的创始人香农借鉴物理学中熵的概念,正式提出了信息熵,从数学上解决了"不确定性"的量化问题,开启了信息论研究的先河.在物理学中有熵增加定理,一切孤立物理系统 ...
- 广义线性模型_广义线性模型(第六章补充)
上一篇文章(第六章)主要介绍了最大熵模型,并从中推导出逻辑斯谛回归,感觉意犹未尽.在复习了CS229 Lecture note之后,我决定重新整理思路:从广义线性模型的角度来看逻辑斯谛回归.最后,基于 ...
- python 广义线性模型_数学建模/机器学习:广义加性模型(GAM)及其Python实现
笔者做过国赛也做过美赛,其中一类典型问题就是分析相关性,从而进行预测或者其他操作.这类问题通常情况下属于比较常规的问题,一般通过matlab或SPSS分析相关性,得到一个较好的数值即可. 然而有的时候 ...
- python广义极值_广义极值分布的数据拟合
我一直想用scipy.stats.genextreme使我的数据符合广义极值分布.我试过所有我能找到的方法,但我不知道为什么它不符合数据.在 我试过这两种方法:import numpy as np f ...
最新文章
- Android之linux基础教学之一 内存地址
- 一文让你秒懂AQS,附带源码剖析!
- 复杂存储过程学习_对象存储在无人驾驶高精度地图的场景实践
- python 链栈及基本操作
- re.findall为什么返回的元素会是个元素为元组的列表类型呢
- AD管控下的弹性云桌面和文件共享最佳实践
- 编译环境与生成环境的JDK版本不一样,报:java.util.zip.ZipException: error in opening zip file
- win7配置iis 出现:HTTP 错误 403.14 - Forbidden Web 服务器被配置为不列出此目录的内容...
- 推荐C语言视频<<跟着星仔学C语言>>
- 解决Heritrix镜像方式存储路径中文乱码的解决方案
- GDSOI2019退役祭
- 基于惯性和偏心的描述符矩(Moment of inertia and eccentricity based descriptors)
- hapi mysql项目实战路由初始化_hapi框架搭建记录(二):路由改造和生成接口文档...
- Unity3d之Quaternion 学习与应用
- Leetcode994腐烂的橘子(广度搜索法)
- 把EXCEL表格导入到MYSQL中_将EXCEL表格中的数据导入mysql数据库表中(两种方法)...
- 个人知识体系你了解多少?
- java什么是classpath_Java 基础 - CLASSPATH 到底是什么
- 微信小程序-注册成为小程序开发者
- Python中graphics不存在,解决办法