PCA目标函数的推导

主成分量分析方法（PCA）是一种代表性的无监督的线性特征提取技术。它展示的是高
维空间中数据的变化。PCA 先通过提取高维数据的协方差矩阵的特征向量来得到一个低维的
线性子空间，然后将原始的高维数据投影到这个线性子空间中来进行降维。它的目标是同时
寻找一个正交基函数的集合，这个正交基集合可以捕捉到数据的最大变化的方向，也就是保
证高维数据在投影到低维空间后，原始数据之间包含的变化信息能最大程度的保留到降维后

得到的低维数据中。

目的是使数据投影后的值尽可能的分散，在数学上这种分散程度我们用方差表示，我们假设每一个样本的先验概率是均匀分布，p(xi)=1/N,

目标函数：

yi表示各个样本在各个基向量中的投影坐标。假设M为样本的维数，投影后N的维数小于N,,,M>>N;

现在目的是求得原样本基向量与新的基向量之间的转换矩阵。。

假设yi=wT*xi;

PCA目标函数的推导相关推荐

主成分分析(PCA)原理及推导
转载请声明出处http://blog.csdn.net/zhongkejingwang/article/details/42264479 什么是PCA? 在数据挖掘或者图像处理等领域经常会用到主成分分 ...
PCA与PPCA推导及理解
0.概述在数据挖掘或者图像处理等领域经常用到主成分分析 PCA,其用意是使待分析的数据维度降低,但是数据的主要信息还能保留下来,即采用低维的数据可以实现对高维信息的编码和还原,低维的信息可以理解为高 ...
数学推导+纯Python实现机器学习算法26：PCA降维
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达作为一种常见的多元统计分析方法,主成分分析法(Principal ...
【机器学习基础】数学推导+纯Python实现机器学习算法19：PCA降维
Python机器学习算法实现 Author:louwill Machine Learning Lab 作为一种常见的多元统计分析方法,主成分分析法(Principal Component Analys ...
XGBoost的目标函数推导和分裂增益计算
1.XGBoost简介 XGBoost是一种基于GBDT优化的工程化实现,是由n个基模型组成的一个加法模型,它的基本类器可以是树模型,也可以是线性分类器,本文以树模型进行推导. 1.1XGBoost的 ...
【白板推导系列笔记】降维-主成分分析-概率角度（Probabilistic PCA）
教科书对PCA的推导一般是基于最小化重建误差或者最大化可分性的,或者说是通过提取数据集的结构信息来建模一个约束最优化问题来推导的.事实上,PCA还有一种概率形式的推导,那就是概率PCA,PRML里面有 ...
【机器学习基础】数学推导+纯Python实现机器学习算法27：LDA线性判别分析
Python机器学习算法实现 Author:louwill Machine Learning Lab 线性判别分析(Linear Discriminant Analysis,LDA)是一种经典的线性分 ...
降维：用 PCA 压缩数据集
转载:github 降维:用 PCA 压缩数据集译者:@cn-Wziv 校对者:@HeYun 通过自动数据收集和特征生成技术,可以快速获得大量特征,但并非所有这些都有用.在第 3 章和在第 4 章 ...
特征工程系列之降维：用PCA压缩数据
引言降维是关于摆脱"无信息的信息"的同时保留关键点.有很多方法可以定义"无信息".PCA 侧重于线性依赖的概念.我们将数据矩阵的列空间描述为所有特征向量的跨度 ...

PCA目标函数的推导

PCA目标函数的推导相关推荐

最新文章

热门文章