瑞利熵与拉普拉斯矩阵

瑞利熵

R(M,x)=x∗Mxx∗xR(M,x)=x∗Mxx∗x

R(M,x)=\frac{x^*Mx}{x^*x}

此处的xxx是一个向量，矩阵M" role="presentation" style="position: relative;">MMM是一个Hermitian矩阵，即该矩阵共轭对称，Mij=M∗jiMij=Mji∗M_{ij}=M_{ji}^*，如果MMM是一个实矩阵，则有MT=M" role="presentation" style="position: relative;">MT=MMT=MM^T=M。

瑞利熵的特点是：最大值和最小值分别等于矩阵MMM最大和最小的特征值。

λmin⩽x∗Mxx∗x⩽λmax" role="presentation">λmin⩽x∗Mxx∗x⩽λmaxλmin⩽x∗Mxx∗x⩽λmax

\lambda_{min}\leqslant \frac{x^*Mx}{x^*x} \leqslant \lambda_{max}

可以用拉格朗日乘子法证明：

s.t.maxR(M,x)=maxx∗Mxx∗x=cmaxR(M,x)=maxx∗Mxs.t.x∗x=c

\matrix{ & \max{R(M,x)}=\max{x^* Mx}\\s.t. & x^* x=c}

J(x)=x∗Mx−λ(x∗x−c)∂J(x)∂x=0→Mx=λxR(M,x)=λJ(x)=x∗Mx−λ(x∗x−c)∂J(x)∂x=0→Mx=λxR(M,x)=λ

J(x)=x^*Mx-\lambda(x^*x-c)\\ \frac{\partial J(x)}{\partial x}=0\rightarrow Mx=\lambda x\\ R(M,x)=\lambda

从上面的证明可以看出：

R(M,x)=λR(M,x)=λR(M,x)=\lambda，瑞利熵的值就是M的特征值，最值一致
xxx的解正是R(M,x)" role="presentation" style="position: relative;">R(M,x)R(M,x)R(M,x)所对应的关于MMM的特征向量

广义瑞利熵

R(M,N,x)=x∗Mxx∗Nx" role="presentation">R(M,N,x)=x∗Mxx∗NxR(M,N,x)=x∗Mxx∗Nx

R(M,N,x)=\frac{x^*Mx}{x^*Nx}

令y=N−1/2xy=N−1/2xy=N^{-1/2}x

x∗Mx=y∗(N−1/2)∗MN−1/2yx∗Nx=y∗(N−1/2)∗NN−1/2y=y∗yx∗Mx=y∗(N−1/2)∗MN−1/2yx∗Nx=y∗(N−1/2)∗NN−1/2y=y∗y

x^*Mx=y^*(N^{-1/2})^*MN^{-1/2}y\\x^*Nx=y^*(N^{-1/2})^*NN^{-1/2}y=y^*y

R(M,N,y)=y∗N−1/2MN−1/2yy∗yR(M,N,y)=y∗N−1/2MN−1/2yy∗y

R(M,N,y)=\frac{y^*N^{-1/2}MN^{-1/2}y}{y^*y}

根据瑞利熵的性质，R(M,N,y)R(M,N,y)R(M,N,y)实际上是矩阵N−1/2MN−1/2N−1/2MN−1/2N^{-1/2}MN^{-1/2}的特征值

拉普拉斯矩阵

定义

上面这个图 G=<V,E>G=<V,E>G=可以定义两个矩阵：度矩阵DDD（Degree）和邻接矩阵A" role="presentation" style="position: relative;">AAA（Adjacent）

D=⎛⎝⎜⎜⎜⎜⎜4000002000003000003000002⎞⎠⎟⎟⎟⎟⎟D=(4000002000003000003000002)

D=\left ( \matrix{4&0&0&0&0\\ 0&2&0&0&0\\ 0&0&3&0&0\\ 0&0&0&3&0\\ 0&0&0&0&2}\right)

A=⎛⎝⎜⎜⎜⎜⎜0111110100110101010110010⎞⎠⎟⎟⎟⎟⎟A=(0111110100110101010110010)

A=\left ( \matrix{0&1&1&1&1\\ 1&0&1&0&0\\ 1&1&0&1&0\\1&0&1&0&1\\ 1&0&0&1&0}\right)

拉普拉斯矩阵的定义是：L=D−AL=D−AL = D-A

D−A=⎛⎝⎜⎜⎜⎜⎜4−1−1−1−1−12−100−1−13−10−10−13−1−100−12⎞⎠⎟⎟⎟⎟⎟D−A=(4−1−1−1−1−12−100−1−13−10−10−13−1−100−12)

D-A =\left ( \matrix{4&-1&-1&-1&-1\\ -1&2&-1&0&0\\ -1&-1&3&-1&0\\-1&0&-1&3&-1\\ -1&0&0&-1&2}\right)

性质

令函数 f(vi)f(vi)f(v_i) 表示结点 viviv_i 的函数

f∗Lf=f∗Df−f∗Af=∑if2(vi)di−∑i∑jAijf(vi)f(vj)=12(∑if2(vi)di−2∑i∑jAijf(vi)f(vj)+∑jf2(vj)dj)=12∑i∑jAij(fi−fj)2f∗Lf=f∗Df−f∗Af=∑if2(vi)di−∑i∑jAijf(vi)f(vj)=12(∑if2(vi)di−2∑i∑jAijf(vi)f(vj)+∑jf2(vj)dj)=12∑i∑jAij(fi−fj)2

f^*Lf=f^*Df-f^*Af\\ =\sum_i f^2(v_i)d_i-\sum_i\sum_jA_{ij}f(v_i)f(v_j)\\ =\frac{1}{2}\left ( \sum_i f^2(v_i)d_i-2\sum_i\sum_jA_{ij}f(v_i)f(v_j) + \sum_j f^2(v_j)d_j\right )\\ =\frac{1}{2}\sum_i\sum_jA_{ij}\left (f_i-f_j\right )^2

这是一个欧氏距离加权求和的形式，特殊的让Aij=1Aij=1A_ij=1，则它就是所有点两两之间的距离之和。所以拉普拉斯矩阵是关于图中的点的一种基于欧氏距离的测度。
另外，显然拉普拉斯矩阵是半正定的，所有特征值都非负。所谓半正定矩阵，即对任意非零向量xxx都有x∗Lx⩾0" role="presentation" style="position: relative;">x∗Lx⩾0x∗Lx⩾0x^*Lx\geqslant 0，看上面的式子显然成立。
那么拉普拉斯矩阵与瑞利熵有什么关系呢？简而言之，上面这个式子的计算，不需要遍历所有点之间的配对，根据瑞利熵的性质，可以简化为求拉普拉斯矩阵关于特征向量 ff<script type="math/tex" id="MathJax-Element-68">f</script> 的特征值，所以是一个特征值分解的过程，而矩阵分解又可以使用梯度下降实现，进一步简化。

参考文献

【Wiki】半正定矩阵
【博客】线性判别分析LDA原理总结
【博客】拉普拉斯矩阵（Laplace Matrix）与瑞利熵（Rayleigh quotient）
【Wiki】Rayleigh quotient