机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)、奇异值分解（SVD）

1、What & Why PCA（主成分分析）

PCA，Principal components analyses，主成分分析。广泛应用于降维，有损数据压缩，特征提取和数据可视化。也被称为Karhunen-Loeve变换

从降维的方法角度来看，有两种PCA的定义方式，方差最大和损失最小两种方式。这里需要有一个直观的理解：什么是变换（线性代数基础）。

但是总的来说，PCA的核心目的是寻找一个方向（找到这个方向意味着二维中的点可以被压缩到一条直线上，即降维），这个方向可以：

最大化正交投影后数据的方差（让数据在经过变换后更加分散）

紫色的直线 u1即是关于 x1,x2二维的正交投影的对应一维表示

PCA定义为使绿色点集的方差最小（方差是尽量让绿色所有点都聚在一坨）其中的蓝线是原始数据集（红点）到低纬度的距离，这可以引出第二种定义方式

最小化投影造成的

机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)、奇异值分解（SVD）相关推荐

机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)
转:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html 版权声明: 本文由L ...
主成分分析PCA 奇异值分解SVD
一特征值和特征向量想了解PCA和SVD,首先要了解的一个概念就是特征值和特征向量. A是矩阵,x是向量.是数.如果满足公式,则说是矩阵A的一个特征值,非零向量x为矩阵A的属于特征值的 ...
lda 吗样本中心化需要_机器学习 —— 基础整理（四）：特征提取之线性方法——主成分分析PCA、独立成分分析ICA、线性判别分析LDA...
本文简单整理了以下内容: (一)维数灾难 (二)特征提取--线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA (一)维数灾难(Curse of dimensiona ...
07_数据降维，降维算法，主成分分析PCA,NMF，线性判别分析LDA
1.降维介绍保证数据所具有的代表性特性或分布的情况下,将高维数据转化为低维数据. 聚类和分类都是无监督学习的典型任务,任务之间存在关联,比如某些高维数据的分类可以通过降维处理更好的获得. 降维过程可 ...
机器学习周志华课后习题3.5 线性判别分析LDA
机器学习周志华课后习题3.5 线性判别分析LDA 照着书上敲了敲啥都不会,雀食折磨 python代码 # coding=UTF-8 from numpy import * # 我安装numpy的时 ...
数据降维方法（主成分分析PCA、线性判别分析LDA）
数据降维 1.特征变换 1.1.特征提取 2.维数缩减 2.1.维度灾难 2.2.维度缩减 2.3.线性降维法 2.3.1.主成分分析(PCA) 2.3.1.1.数学分析 2.3.1.2.算法步骤 2 ...
【机器学习】机器学习之线性判别分析(LDA)
目录一.线性判别分析介绍二.线性判别分析原理 1. 类内散度矩阵(within-class scatter matrix) 2. 类间散度矩阵(between-class scatter matr ...
机器学习中的数学——激活函数（三）：线性整流函数（ReLU函数）
分类目录:<机器学习中的数学>总目录相关文章: · 激活函数:基础知识 · 激活函数(一):Sigmoid函数 · 激活函数(二):双曲正切函数(Tanh函数) · 激活函数(三): 线 ...
线性分类（二）-- 线性判别分析 LDA
在机器学习领域,LDA是两个常用模型的简称:线性判别分析(Linear Discriminant Analysis) 和隐含狄利克雷分布(Latent Dirichlet Allocation).在自 ...

机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)、奇异值分解（SVD）

1、What & Why PCA（主成分分析）

机器学习中的数学-线性判别分析（LDA）, 主成分分析(PCA)、奇异值分解（SVD）相关推荐

最新文章

热门文章