降维方法之PCA,LDA

降维的目的

减少冗余信息造成的误差，提高数据信息的精度。

PCA 主成分分析

Principal Component Analysis(PCA)主成分分析，是最常用的线性降维方法,无监督的，它通过某种线性映射，将高维的向量转化为低维空间表示，并且希望在所投影的低维空间上数据方差尽可能的大（实际表现为数据点尽可能的分散，而不是聚作一团）

通俗的理解，如果把所有的点都映射到一起，那么几乎所有的信息（如点和点之间的距离关系）都丢失了，而如果映射后方差尽可能的大，那么数据点则会分散开来，以此来保留更多的信息。可以证明，PCA是丢失原始数据信息最少的一种线性降维方式。（实际上就是最接近原始数据，但是PCA并不试图去探索数据内在结构）
PCA达到的目的：使用较少的数据维度，保留尽可能多的原数据的信息。

PCA追求的是在降维之后能够最大化保持数据的内在信息，并通过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。但是这样投影以后对数据的区分作用并不大，反而可能使得数据点揉杂在一起无法区分。这也是PCA存在的最大一个问题，这导致使用PCA在很多情况下的分类效果并不好。具体可以看下图所示，若使用PCA将数据点投影至一维空间上时，PCA会选择2轴，这使得原本很容易区分的两簇点被揉杂在一起变得无法区分；而这时若选择1轴将会得到很好的区分结果。

LDA线性判别分析

Linear Discriminant Analysis(也有叫做Fisher Linear Discriminant)是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不同，LDA是为了使得降维后的数据点尽可能地容易被区分！
LDA达到的目的：减少数据维度，尽可能使数据被区分。

还是这张图，如果是PCA方法的话，会映射到 2轴，但是如果是LDA方法那么，会使数据尽可能的区分开来，所以会映射到1轴。

LDA最后也是转化成为一个求矩阵特征向量的问题，和PCA很像，事实上很多其他的算法也是归结于这一类，一般称之为谱（spectral）方法。

PCA and LDA 区别

首先，PCA与LDA的监督方式不同。

第二，他们的目的也不同。PCA是为了去除原始数据中冗余的维度，让投影子空间的各维度的方差尽可能的大，即熵尽可能的大。LDA是通过数据降维找到那些具有判别性的维度，使得原始数据在这些维度上投影，不同类别尽可能的分隔开。

【深度学习】数据降维方法总结