数据分析-降维-PCA-LDA-LLE
目录
前言
矩阵分解法
主成分分析（PCA）
核PCA
非负矩阵分解（NMF）
FactorAnalysis
独立主成分分析（ICA）
判别分析法（LDA）
基于流形学习的数据降维方法
LLE
MDS
MDS实现
t-SNE
前言
降维指采用某种映射方法，将高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : w->v，其中w是原始数据点的表达，目前最多使用向量表达形式。 v是数据点映射后的低维向量表达，通常v的维度小于w的维度。
原始数据在采集时可能包含了很高的维度，降维可以降低时间复杂度和空间复杂度，节省了开销；去掉数据集中夹杂的噪声，提高模型的泛化性能；降维使得模型具有更强的鲁棒性；也可以更好的解释数据，更好的可视化。
Sklearn中降维的方法主要分布在以下三个模块：
sklearn.decomposition：包含了绝大部分的矩阵分解算法，其中包括PCA、核PCA、NMF或ICA等
decomposition.PCA 主成分分析（PCA）
decomposition.NMF 非负矩阵分解（NMF）
decomposition.FastICA 独立主成分分析（ICA）
decomposition.FactorAnalysis 因子分析
decomposition.KernelPCA 核PCA
sklearn.discriminant_analysis：包含了LDA和QDA两种判别分析方法
discriminant_analysis.LinearDiscriminantAnalysis 线性判别分析（LDA）
discriminant_analysis.QuadraticDiscriminantAnalysis 二次判别分析（QDA）（非降维）
sklearn.manifold：包含了基于流形学习的数据降维方法等
manifold.LocallyLinearEmbedding 局部线性嵌入（LLE）
manifold.MDS 多维尺度变换（MDS）
manifold.TSNE t分布随机邻域嵌入（t-SNE）
manifold.Isomap 等度量映射（Isomap）
矩阵分解法
主成分分析（PCA）
构造原始特征的一系列线性组合形成低维的特征，以去除数据的相关性，并使降维后的数据最大程度地保持原始高维数据的方差信息。
如下图，将二维空间的点变到一维空间。
实现 decomposition.PCA
# PCA降维
from sklearn.decomposition import PCA
pca = PCA(n_components=5)
# 训练集训练
pca.fit(X_train)
# 训练集降维
X_train_pca = pca.transform(X_train)
## 测试集降维
X_test_pca = pca.transform(X_test)
# 查看方差贡献率
print(sum(pca.explained_variance_ratio_))
# 查看方差贡献值
print(sum(pca.explained_variance_))核PCA
Non-linear dimensionality reduction through the use of kernels
对于输入空间(Input space)中的矩阵X，我们先用一个非线性映射（由核函数确定）把X中的所有样本映射到一个高维甚至是无穷维的空间(称为特征空间，Feature space)，使其线性可分，然后在这个高维空间进行PCA降维。
实现 decomposition.KernelPCA
from sklearn.decomposition import KernelPCA
kpca = KernelPCA(n_components=3,kernel="sigmoid",random_state=10)
X_kpca = kpca.fit_transform(X)'''
KernelPCA(n_components=None,*,kernel='linear',gamma=None,degree=3,coef0=1,kernel_params=None,alpha=1.0,fit_inverse_transform=False,eigen_solver='auto',tol=0,max_iter=None,remove_zero_eig=False,random_state=None,copy_X=True,n_jobs=None,
)
'''非负矩阵分解（NMF）
decomposition.NMF
非负矩阵分解(Non-negative Matrix Factorization)
一种主成分分析的方法，要求数据和成分都要非负，对图像数据十分有效
NMF希望找到两个矩阵
目录 1 PCA/LDA 2 Factor Analysis 3 LLE 4 LEP Reference 1 PCA/LDA 参考我的这篇博文 主成分分析(PCA)/线性判别分析(LDA)总结 2 F ... 官方地址:https://github.com/apachecn/hands-on-ml-zh/blob/master/docs/8.%E9%99%8D%E7%BB%B4.md 一.简介 许多机器学习 ... 基于PCA/LDA的数据降维和可视化 Introduction Project Intro File Intro Tools Intro Code&Dataset Link Process P ... 线性降维 PCA(无监督) 1.协方差矩阵:随机变量组成的向量,每组随机变量的协方差构成的一个对称矩阵,其对角元是每组随机变量的方差 2.矩阵的对角化:对于矩阵M,有可逆矩阵V,使得成为对角矩阵,而M ... 文件名称: dimension-reduction-method下载 收藏√ [ 5 4 3 2 1 ] 开发工具: matlab 文件大小: 857 KB 上传时间: 2014-11-05 ... 内容简介 线性判别分析LDA的基本概念 代码实例:第一部分使用python详细说明了LDA的计算过程: 第二部分记录了如何使用sklearn完成LDA. 什么是线性判别分析? LDA,全名 Linea ... PCA,LDA基础+sklearn 简单实践 1.PCA+sklearn.decomposition.PCA 1.PCA理论基础 2.sklearn.decomposition.PCA简单实践 2.L ... 基于PCA–LDA的人脸识别 ORC数据集 提取码: cggh 本次的实验是在模式识别与机器学习(作业4),PCA降维的基础上加入了线性判别分析,对维度进行了进一步的降低. 1. 导入数据 一共有40 ... 降维(PCA算法) 1. 数据压缩(Data Compression) 2. 数据可视化(Data Visuallization) 3. 主成分析问题(Principal Component Anal ... 提示:在准备机器学习算法工程师面试的过程中,我主要参考<百面机器学习>去巩固自己的基础知识.本系列博客将以该书为主题,并以八股文的方式去概述整本书的内容,以尽量减少读者们的阅读作量,并方便 ...数据分析-降维-PCA-LDA-LLE相关推荐
最新文章
热门文章