主成分分析法(Principal Component Analysis,PCA)
什么是主成分分析法,他是用来干什么的
用于提取一系列样本的主要特征,从而在分类、相似度比较、匹配等操作中提高运算效率和算法准确度
举个例子:学校需要进行三好学生评比,但每个学生都有很多特征,比如:学习成绩、社会实践活动、道德品质、体育成绩等等。在评比中,有一些特征属于“无用特征”,比如身高、体重、衣服尺寸等等,这些特征在评比中是不应该被采纳的;而有一些特征属于“冗余特征”,比如各学科成绩和学科总成绩,实际上这二者有一个即可。
主成分分析法是一种特征提取方法,也可以称为特征降维方法,将很多个具有内在联系(线性相关)的特征转化为少数几个线性无关的特征,用这些少数几个特征来进行样本的区分比较,这些线性无关的变量称为主成分。
在给出算法实现之前,阐述一下PCA的数学思想:
根据p个特征的线性组合,得到一个新的特征z,使得该特征的方差最大,该特征即为主成分。
再次寻找p个特征的线性组合,得到新的特征,该特征与之前得到的主成分线性无关,且方差最大。
算法实现
假设有n个样本,p个特征,表示第i个样本的第j个特征,样本的特征矩阵为
我们的目的是,找到一个转换矩阵,将p个特征转化为m个特征(m<p),从而实现特征降维
①标准化
计算每个特征(p个特征)的均值和标准差
将每个样本的每个特征进行标准化处理,得到标准化特征矩阵
②计算标准化样本的协方差矩阵
协方差矩阵R如下
③计算矩阵R的特征值和特征向量
计算矩阵R的特征值,并按照大小顺序排列,计算对应的特征向量,并进行标准化,使其长度为1
特征值:
特征向量:
④给出主成分
第i个主成分为
⑤计算每个主成分的贡献率及累积贡献率
第i个主成分的贡献率为
前i个主成分的累积贡献率为
通常,我们选取几个主成分,使得累积贡献率为80%。
但如果每个主成分的贡献率都相差不多,则不建议使用主成分分析法,因为主成分分析法一定程度上舍弃了部分信息,来提高整体的计算效率。同时,对于降维形成的主成分,我们经常无法找到他在实际情况中所对应的特征,这也是主成分分析法的缺陷所在。
主成分分析法(Principal Component Analysis,PCA)相关推荐
- 主成分分析(principal component analysis, PCA)公式
主成分分析(principal component analysis, PCA)公式 主成分分析 摘要 什么是主成分 求解 PCA 的公式 数学证明 程序验证 参考文献 主成分分析 摘要 主成分分析作 ...
- 主成分分析(Principal Component Analysis, PCA)原理全面解析与应用
目录 1. PCA算法概述 2. 数据预处理 3. 协方差矩阵计算 4. 特征值与特征向量 5. 选择主成分 6. 数据投影 7. PCA的优缺点 8. PCA算法应用 主成分分析(Principal ...
- SPSS 主成分分析(Principal Component Analysis,PCA)
定义 主成分分析是利用降维的思想,在损失很少信息的前提下把多个指标转化为几个综合指标的多元统计方法. 转化生成的综合指标称之为主成分,其中每个主成分都是原始变量的线性组合,且各个主成分之间互不相关,这 ...
- 主成分分析(Principal Component Analysis,PCA)
文章目录 1. 总体主成分分析 2. 样本主成分分析 3. 主成分分析方法 3.1 相关矩阵的特征值分解算法 3.2 矩阵奇异值分解算法 4. sklearn.decomposition.PCA 主成 ...
- pca降维python实例_主成分分析(Principal component analysis, PCA)例子–Python | 文艺数学君...
摘要这一篇是关于PCA的实战, 我们会举一个例子, 看一下PCA具体在实战中是如何来进行的. 同时我们会比较同一个数据下, 使用PCA(主成分分析)和FA(因子分析)得到结果的不同. 简介 这一篇文章 ...
- 主成分分析(Principal Component Analysis)
主成分分析(Principal Component Analysis) 主成分分析(PCA)是一个被广泛用于降维.有损数据压缩.特征提取和数据可视化的技术.PCA有两种常用的定义,分别是从最大化投影后 ...
- Principal Component Analysis(PCA)
Principal Component Analysis(PCA) Principal Component Analysis(PCA) 概念 去中心化(零均值化): 将输入的特征减去特征的均值, 相当 ...
- 机器学习与高维信息检索 - Note 4 - 主成分分析及其现代解释(Principal Component Analysis, PCA)及相关实例
主成分分析及其现代解释 4. 主成分分析及其现代解释 Principal Component Analysis and Its Modern Interpretations 4.1 几何学解释 The ...
- SAS:主成分分析(Principal Component Analysis,PCA)
from:http://blog.csdn.net/archielau/article/details/7989735 进行主成分分析主要步骤如下: 1. 指标数据标准化( SPSS软件 自动执行), ...
- SAS进行主成分分析(Principal Component Analysis,PCA)
进行主成分分析主要步骤如下: 1. 指标数据标准化( SPSS软件自动执行),目的是消除不同量纲的影响: 2. 指标之间的相关性判定: 3. 确定主成分个数m: 4. 主成分Fi表达式: 5. 主成分 ...
最新文章
- 单卡手机怎么变双卡双待全过程
- Spring MVC 中使用 Google kaptcha 验证码
- NOCOUNT如何影响ADO.NET(SET NOCOUNT ON的性能问题)
- 关闭数据执行保护(DEP)
- JAVA核心知识总结
- (61)FPGA面试题-使用Verilog语言编写异步复位同步释放代码
- python进程数上限_在多处理python中限制进程数
- Android中Bitmap、Drawable、byte[]转换
- 算法|决策树算法究竟说的是什么?
- 相对定向绝对定向 MFC 实现 CSU摄影测量学
- python optimize_SciPy优化optimize模块用法
- Atitit 战略之道 attilax著 v4 r88
- Java 打印PDF文档的3种情况
- 办公技巧:腾讯文档怎么固定表头?
- fri什么意思_卡西欧fri什么意思
- 从频域角度重新思考注意力机制——FcaNet
- 【Java加密】JCA体系结构
- 计算机专用英语词汇1500词
- 华为部分通知气泡显示_华为P50已在路上,目前不受美国影响 | PS5价格曝光!
- 《优柔有情人》读后感6000字
热门文章
- 青瓷引擎之纯JavaScript打造HTML5游戏第二弹——《跳跃的方块》Part 7(服务器连接数据处理)...
- Java for Web学习笔记(一一八):【篇外】Soap client
- 使用libx264静态编译库编译FFmpeg
- 根据URL下载单个图片与批量打包下载图片(文件同理)
- IVI系统中的Radio设计与实现
- 华一思源2018-2019高一第二学期期中考试生物试题
- Starting sshd: /var/empty/sshd must be owned by root and not group or world-writable.
- php文件包含phpinfo怎么输出,文件包含之通过phpinfo去Getshell
- 计算机课外兴趣小组活动教案,信息技术兴趣小组活动教案(上).doc
- 小学三年级计算机教学指导思想,2020年小学三年级信息技术教学计划