一、前言

局部保持投影算法（LPP）主要是通过线性近似LE（Laplacian Eigenmaps），想保留的是高维中的局部信息

二、主要步骤

具体步骤如下所示：

1.确定LPP的目标函数：min⁡12∑i,j(yi−yj)2sij\min \frac{1}2\sum_{i, j}(y_{i}-y_{j})^{2} s_{i j} min21i,j∑(yi−yj)2sij

其中yiy_iyi表示的是降维后的任意数据点iii，yjy_jyj表示的是降维后的任意数据点不包含iii。
其中sijs_{ij}sij表示的是原始空间中i,ji,ji,j之间的距离权重系数组成的矩阵。距离较远的两个点之间的边权重值较低，而距离较近的两个点之间的边权重值较高，采用全连接法高斯核计算公式如下：
sij=e−∥xi−xj∥222σ2s_{i j}=e^{-\frac{\left\|x_{i}-x_{j}\right\|_{2}^{2}}{2 \sigma^2}}sij=e−2σ2∥xi−xj∥22
2.目标函数优化：

12∑i=1n∑j=1n(yi−yj)2sij=12∑i=1n∑j=1n(yi2−2yiyj+yj2)sij=∑i=1nDiiyi2−∑i=1n∑j=1nyiyjsij=YTLY\begin{aligned} &\frac{1}2\sum_{i=1}^{n} \sum_{j=1}^{n}\left(y_{i}-y_{j}\right)^{2} s_{i j} \\ &=\frac{1}2\sum_{i=1}^{n} \sum_{j=1}^{n}\left(y_{i}^2-2 y_{i} y_{j}+y_{j}^2\right) s_{i j} \\ &= \sum_{i=1}^{n} D_{i i} y_{i}^2- \sum_{i=1}^{n} \sum_{j=1}^{n} y_{i} y_{j} s_{i j} \\ &=Y^{T} L Y \end{aligned} 21i=1∑nj=1∑n(yi−yj)2sij=21i=1∑nj=1∑n(yi2−2yiyj+yj2)sij=i=1∑nDiiyi2−i=1∑nj=1∑nyiyjsij=YTLY
其中 SSS 是图的邻接矩阵，对角矩阵 DDD 是图的度矩阵( Dii=∑j=1nsijD_{ii}=\sum_{j=1}^{n} s_{i j}Dii=∑j=1nsij )， L=D−SL=D-SL=D−S 成为图的拉普拉斯矩阵。

假设ααα是变换矩阵，令YT=WTXY^T=W^TXYT=WTX

则目标函数转换为：
12∑i=1n∑j=1n(yi−yj)2Wij=WTXLXTW\begin{aligned} &\frac{1}2\sum_{i=1}^{n} \sum_{j=1}^{n}\left(y_{i}-y_{j}\right)^{2} W_{i j} \\ &= W^TXLX^TW \end{aligned} 21i=1∑nj=1∑n(yi−yj)2Wij=WTXLXTW
该目标存在平凡零解：W=Om∗dW = O_{m ∗ d}W=Om∗d，此时L取最小值0，出现维度坍缩，所有样本映射到同一个点上，此解无意义

当W不取零矩阵时，由于没有添加尺度约束，在降维子空间一定（组成基向量方向一致）情况下，当尺度不断变小时，目标L会同时变小，无限趋于0，不存在最小值

因此，考虑对最小化目标变形为：
YTLYYTDY=WTXLXTWWTXDXTW\frac{Y^TLY}{Y^TDY}=\frac{W^TXLX^TW}{W^TXDX^TW} YTDYYTLY=WTXDXTWWTXLXTW
为了防止消除任意的缩放因子（为了防止过拟合的现象），添加尺度归一条件:
YTDY=1→αTXDXTα=1Y^TDY=1\to α^TXDX^Tα=1 YTDY=1→αTXDXTα=1

变换后的拉普拉斯特征映射优化的目标函数如下：
arg min⁡WWTXLXTW,s.t. WTXDXTW=I\argmin_{W} W^TXLX^TW, \quad \text { s.t. } W^TXDX^TW=I WargminWTXLXTW, s.t. WTXDXTW=I

其中限制条件 s.t.WTXDXTW=I{ s.t. } W^TXDX^TW=Is.t.WTXDXTW=I 保证优化问题有解。

3.拉格朗日乘子法求解:
L=WTXLXTW+Λ(WTXDXTW−I)∂L∂W=2XLXTW−2XDXTWΛ=0∴XLXTW=XDXTWΛ(XDXT)−1XLXTW=WΛ\begin{aligned} &L=W^TXLX^TW+\Lambda(W^TXDX^TW-I)\\ &\frac{\partial L}{\partial W}=2XLX^TW−2XDX^TWΛ=0\\\\ &\therefore XLX^TW=XDX^TWΛ\\ &(XDX^T)^{−1}XLX^TW=WΛ \end{aligned} L=WTXLXTW+Λ(WTXDXTW−I)∂W∂L=2XLXTW−2XDXTWΛ=0∴XLXTW=XDXTWΛ(XDXT)−1XLXTW=WΛ
WWW由(XDXT)−1XLXTW(XDX^T)^{−1}XLX^TW(XDXT)−1XLXTW的特征向量作为列向量构成，且为了最小化目标函数，选取的特征向量应该是最小m个特征值对应的特征向量降维后的结果输出。

变换矩阵：W=[w1,w2,...,wm]W = [ w_1,w_2 , . . . , w_m ]W=[w1,w2,...,wm]由(XDXT)−1XLXTW(XDX^T)^{−1}XLX^TW(XDXT)−1XLXTW最小m个特征向量构成

三、LPP与PCA区别

3.1. PCA的核心是通过投影矩阵A将高维数据降成低维数据，实现数据沿该坐标系的分布方差最大化，能够实现最大化保持数据的全局结构特性，其目标函数如下：
arg min⁡W=tr(WTXXTW),s.t. WW=I\argmin{W}=tr(W^TXX^TW), \quad \text { s.t. } W^W=I argminW=tr(WTXXTW), s.t. WW=I

构建的拉格朗日乘式解：XXTXXTW=XXTWΛXX^TXX^TW=XX^TW\LambdaXXTXXTW=XXTWΛ
与LLP的解XLXTW=XDXTWΛXLX^TW=XDX^TW\LambdaXLXTW=XDXTWΛ对比，等价于是当L=XTX且D=IL=X^TX且D=IL=XTX且D=I的特例
3.2. PCA可以看成是一种特殊的LPP，区别在与LPP跟关注局部的信息和关系，而PCA关注的是全局方差信息

四、流程总结

由样本矩阵X构建权重矩阵S，度矩阵D，拉普拉斯矩阵L
求(XDXT)−1XLXTW(XDX^T)^{−1}XLX^TW(XDXT)−1XLXTW的特征向量，取最小m个作列向量构成变换矩阵WWW
由Y=WTXY=W^TXY=WTX完成降维

【流行学习】局部保持投影（Locality Preserving Projections）相关推荐

【机器学习】【降维】局部保持投影（LPP Locality Preserving Projections）
文章目录局部保持投影(LPP) 一.摘要: 二.主要思想三.算法步骤四.算法详解局部保持投影(LPP) 论文:<Locality Preserving Projections>作者 ...
局部保留投影算法(LPP)（Locality Preserving Projections）详解
1.问题导入 2.算法出处 3.算法详解 4.算法步骤算法全称<Locality preserving projections>出自何小飞教授论文X.He,P.Niyogi,Locali ...
method_LPP(Locality preserving projections)
本文是对何晓飞老师的论文Locality Preserving Projections及其代码的一些简单j介绍,论文及代码均可以在何老师主页上下载. 一.LPP简介线性投影映射最优化地保存了数据集 ...
Laplacian Eigenmaps与LPP(Locality Preserving Projections)简介
一.拉普拉斯特征映射(Laplacian Eigenmaps) 1.Introduction 机器学习与模式识别的一个核心问题是找到一种合适的对复杂数据的表示. 我们把这个问题叫做数据低维流形的嵌入在 ...
基于 Python 的 11 种经典数据降维算法|LPP(Locality Preserving Projections)
LPP(Locality Preserving Projections) LPP 即局部保留投影算法,其思路和拉普拉斯特征映射类似,核心思想为通过最好的保持一个数据集的邻居结构信息来构造投影映射,但 ...
论文解读—Locality Preserving Projections（LPP）
0. 摘要 1. LPP的基本思想 LPP是一种线性降维算法,其基本思想是: 1)首先构建了一个融合了数据邻域信息的图: 2)然后根据图的拉普拉斯的概念,可以计算一个变换矩阵: 3)最后通过该变换矩阵 ...
局部保留投影学习总结（LPP）
这篇文章主要的目的是在降低空间维度的同时,能较好的保持内部固定的局部结构,并且它对异化值(通常理解为错误的点,或者为污点)不敏感,这一点可以与主成分分析法(PCA)相区别. 对于高维的空间(x1,x2 ...
机器学习基础---降维方法---局部保持投影（LPP）推导
LPP 方法概述核心思想有映射Ym∗n=f(Xd∗n)\underset{m*n}{Y}=f(\underset {d*n}X)m∗nY=f(d∗nX),能够实现将d维的样本变换到m维空间之中 ...
LPP（局部保持投影）以及LE（拉普拉斯映射）的区别以及代码python解读
关于LPP与LE在降维上的区别在这篇文章上已经描述的十分清楚了:LE与LPP的简介(强烈建议看完这篇文章在看本文的代码解析) 假设已有数据集样本集合X={, ,..., },且每个样本的维度为m. ( ...

【流行学习】局部保持投影（Locality Preserving Projections）

一、前言

二、主要步骤

三、LPP与PCA区别

四、流程总结

【流行学习】局部保持投影（Locality Preserving Projections）相关推荐

最新文章

热门文章