线性判别分析LDA的思想

2024-06-24 01:04:04

1、分类原理：

分类思想：训练时，设法将训练样本投影到一条直线上，这条直线上，同类样本的投影点尽可能接近，异类样本点的类别中心尽可能远离。预测时，将样本投影到学得的直线上，根据投影点的位置判断其类别。
分类过程：一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。

1.1 二类问题：

定义类内散度矩阵和类间散度矩阵。最大化二者的广义瑞利商，利用拉格朗日乘子法进行优化求解。

1.2 多分类问题：

多类问题：新定义全局散度矩阵，重定义类内散度矩阵为所有类别的散度矩阵之和，类间散度矩阵直接用总体散度矩阵减去类内散度矩阵便可以，优化目标通过广义特征值问题求解，得到W的闭式解。

2、降维原理

降维过程：确定类别数目，然后进行随机划分，计算各个类的样本均值向量，通过均值向量计算类内散度矩阵SB和类内散度矩阵SW。计算矩阵的特征向量和对应的特征值。选择D个最大特征值对应的矩阵W。使用该矩阵对数据集X进行降维Y=WTX。
W是K个最大的广义特征值的特征向量组成的矩阵。将W看成一个投影矩阵，那么实际上就是将原来的特征空间投影到了K维空间中，可以缩小样本点的维度，而且利用了类别信息，是一种经典的有监督降维方法。
LDA和PCA之间的区别：
相同点：
两者均可以对数据进行降维。两者在降维时均使用了矩阵特征分解的思想。
不同点：
LDA是有监督的降维方法，而PCA是无监督的降维方法
LDA降维最多降到类别数C-1的维数，而PCA没有这个限制。
LDA除了可以用于降维，还可以用于分类。
LDA选择分类性能最好的投影方向，而PCA选择样本点投影具有最大方差的方向。

线性判别分析LDA的思想相关推荐

lda 吗样本中心化需要_机器学习 —— 基础整理（四）：特征提取之线性方法——主成分分析PCA、独立成分分析ICA、线性判别分析LDA...
本文简单整理了以下内容: (一)维数灾难 (二)特征提取--线性方法 1. 主成分分析PCA 2. 独立成分分析ICA 3. 线性判别分析LDA (一)维数灾难(Curse of dimensiona ...
07_数据降维，降维算法，主成分分析PCA,NMF，线性判别分析LDA
1.降维介绍保证数据所具有的代表性特性或分布的情况下,将高维数据转化为低维数据. 聚类和分类都是无监督学习的典型任务,任务之间存在关联,比如某些高维数据的分类可以通过降维处理更好的获得. 降维过程可 ...
『矩阵论笔记』线性判别分析(LDA)最全解读+python实战二分类代码+补充：矩阵求导可以参考
线性判别分析(LDA)最全解读+python实战二分类代码! 文章目录一.主要思想! 二.具体处理流程! 三.补充二中的公式的证明! 四.目标函数的求解过程! 4.1.优化问题的转化 4.2.拉格朗 ...
【机器学习】机器学习之线性判别分析(LDA)
目录一.线性判别分析介绍二.线性判别分析原理 1. 类内散度矩阵(within-class scatter matrix) 2. 类间散度矩阵(between-class scatter matr ...
线性判别分析(LDA)原理及应用详解
前置知识线性分类指存在一个线性方程可以把待分类数据分开,或者说用一个超平面能将正负样本区分开,表达式为 . 线性分类器线性分类器就是用一个"超平面"将两个样本隔离开,如: 二 ...
线性分类（二）-- 线性判别分析 LDA
在机器学习领域,LDA是两个常用模型的简称:线性判别分析(Linear Discriminant Analysis) 和隐含狄利克雷分布(Latent Dirichlet Allocation).在自 ...
数据降维方法（主成分分析PCA、线性判别分析LDA）
数据降维 1.特征变换 1.1.特征提取 2.维数缩减 2.1.维度灾难 2.2.维度缩减 2.3.线性降维法 2.3.1.主成分分析(PCA) 2.3.1.1.数学分析 2.3.1.2.算法步骤 2 ...
数据分享|R语言逻辑回归、线性判别分析LDA、GAM、MARS、KNN、QDA、决策树、随机森林、SVM分类葡萄酒交叉验证ROC...
全文链接:http://tecdat.cn/?p=27384 在本文中,数据包含有关葡萄牙"Vinho Verde"葡萄酒的信息(点击文末"阅读原文"获取完整代 ...
ML之NB：基于news新闻文本数据集利用纯统计法、kNN、朴素贝叶斯(高斯/多元伯努利/多项式)、线性判别分析LDA、感知器等算法实现文本分类预测
ML之NB:基于news新闻文本数据集利用纯统计法.kNN.朴素贝叶斯(高斯/多元伯努利/多项式).线性判别分析LDA.感知器等算法实现文本分类预测目录基于news新闻文本数据集利用纯统计法.kN ...

最新文章

热门文章