局部保留投影学习总结（LPP）
这篇文章主要的目的是在降低空间维度的同时，能较好的保持内部固定的局部结构，并且它对异化值（通常理解为错误的点，或者为污点）不敏感，这一点可以与主成分分析法（PCA）相区别。
对于高维的空间（x1,x2,x3、、、,xn）——属于S维空间，一般而言，我们需要选择一个降维矩阵A对X进行降维从而得到Y，其中Y=(y1,y2、、、,yn)——属于L维空间，其中L<<S，其表达式如下所示：
不多说，直接进入主题——
- 首先目标函数定义为 :
（1）
其中yi与yj代表降维之后的点，Wij是权重矩阵；
通过最小化上述目标函数，便达到降维目的。大家可以先好好想为什么要这样设置（后面将进行讲解），为了便于计算结果，将（1）转化为矩阵形式如下所示：
为了防止过拟合的现象，于是给定一个限制：
则原公式可简化为：
- 接下来我们就开始解答这个目标函数，其算法的步骤为：
step one :Constructing the adjacency graph
a:ᵋ-neighboorhoods.
可以设想为一个半径为ᵋ圆的面积内刚好有K个点，但是由于ᵋ 一般难以确定，故经常选择第二种方法,而原文采用的也是下面一种.
b.k nearest nighbors. 依次选取，一直到寻找到第k个近的点的集合构成邻接图.
step two :Choosing the Weights
a.Heat kernel.
注：其中Xi与Xj代表原始空间的点，t为自定义.权重的设定与目标函数有很大的关系，他们相互限制，相互约束，从而达到保持原空间结构的目的。
b.Simple-minded.
Wij=1 if and only if vertices i and j are connect by an edge.
step three :Eigenmaps(计算特征值与特征向量)
XLX'a=λXDX'a（等式由拉格朗日函数对a进行求导而得）
此函数大家可以根据已知条件试着推导，注意求特征向量的公式为|aE-A|=0.
(including Dii=EWij——其中矩阵D的对角线元素为矩阵W每一列或者每一行的和,L=D-W is the laplacian matrix.The ith column of matrix X is xi)
对eigenvalues进行从小到大排序，选取前l小的特征值的特征向量构成的矩阵A,最后可得
x-->y=A'x, A=(a0,a1,...,al-1)
其中A为降维矩阵.
参考：He X. Locality preserving projections[J]. Advances in Neural Information Processing Systems, 2003, 16(1):186-197.
局部保留投影学习总结（LPP）相关推荐
- 局部保留投影(LPP)推导
流形算法的主要思想是能够学习高维空间中样本的局部邻域结构,并寻找一种子空间能够保留这种流行结构, 使得样本在投影到低维空间后,得到比较好的局部近邻关系. 所谓流形,是指高维样本空间中呈现的一种低维的局 ...
- 局部保留投影算法(LPP)（Locality Preserving Projections）详解
1.问题导入 2.算法出处 3.算法详解 4.算法步骤 算法全称<Locality preserving projections>出自何小飞教授论文X.He,P.Niyogi,Locali ...
- 局部保留投影算法——LPP原理
Locality Preserving Projections 一.构建邻接图 a. 设定常数ε,若两样本点距离小于ε则两点为邻近关系 b. 若点p1是点p2最近的k个点之一,则p1是p2的临近点 二 ...
- 【流行学习】局部保持投影（Locality Preserving Projections）
一.前言 局部保持投影算法(LPP)主要是通过线性近似LE(Laplacian Eigenmaps),想保留的是高维中的局部信息 二.主要步骤 具体步骤如下所示: 1.确定LPP的目标函数:min1 ...
- 机器学习基础---降维方法---局部保持投影（LPP）推导
LPP 方法概述 核心思想 有映射Ym∗n=f(Xd∗n)\underset{m*n}{Y}=f(\underset {d*n}X)m∗nY=f(d∗nX),能够实现将d维的样本变换到m维空间之中 ...
- 【机器学习】【降维】局部保持投影（LPP Locality Preserving Projections）
文章目录 局部保持投影(LPP) 一.摘要: 二.主要思想 三.算法步骤 四.算法详解 局部保持投影(LPP) 论文:<Locality Preserving Projections>作者 ...
- 基于投影学习的负采样改进型上位词关系提取 （翻译学习使用）
原标题:Negative Sampling Improves Hypernymy ExtractionBased on Projection Learning 原作者们(感谢国际友人):Dmitry ...
- LPP（局部保持投影）以及LE（拉普拉斯映射）的区别以及代码python解读
关于LPP与LE在降维上的区别在这篇文章上已经描述的十分清楚了:LE与LPP的简介(强烈建议看完这篇文章在看本文的代码解析) 假设已有数据集样本集合X={, ,..., },且每个样本的维度为m. ( ...
- 经典线性降维算法—局部保持投影(LPP)
本文经过转载,原文地址: 地址通道 该LPP算法,上文写地十分详细,可以参见.
最新文章
- 周期性定时事件的处理
- frida hook java层常用模板
- java定义接口_一文知道Java中接口的定义
- 银行账务转账系统(事务处理)
- 微信公众平台开发5：翻译功能
- Sql Server发布订阅如何添加新表如何不初始化整个快照
- Android中的Context理解
- 将Vim打造成Python快速开发环境（一）
- 牛客多校第九场H Cutting Bamboos（主席树 区间比k小的个数）题解
- ArcGIS 10.5 及 ArcGIS Server下载安装破解环境配置
- Axis2生成wsdl的一种方法
- 如果把钢铁侠中的贾维斯系统换成现在的人工智能会怎么样？
- 一、阿里矢量图标(字体图标)
- Java例15.13——使用MVC结构计算三角形面积
- 皮卡丘python turtle海龟绘图（电力球版）附源代码
- 名词用作动词举例_[名词的活用] 名词的活用例子
- pathon的基本语法
- uni-app App端优化
- 【底层思维】思维的深度决定人生的高度，底层思维的4个方法论
- Linux命令之统计文件字数、字符数、字节数及行数信息wc