Karhunen-Loeve Transform (KLT) 原理及PCA应用

2024-05-12 20:19:53

Karhunen-Loeve Transform（KLT）是一种数据变换与分析方式，常用于数据压缩和PCA降维。

1. KLT是什么变换，KLT的目的是什么？

KLT是对向量x做的一个正交变换y=Φx，目的是变换到y后去除数据相关性。

PS：其中，Φ是x特征向量组成的矩阵，满足Φ^TΦ=I，当x都是实数时，Φ是正交矩阵。

2. 为什么说KLT可以去除数据相关性？

用m_y表示向量y的平均值，y的协方差矩阵记为Σy，通过变换 y=Φ^Tx，有

写成矩阵形式：

由此可见，做了KLT变换之后呢，Σy成为了对角阵，也就是对于任意i≠j，有cov(yi,yj)=0；i=j有cov(yi,yj)=λi，所以说去除了数据相关性。而且，yi的方差与x协方差矩阵的第i个特征值相等，即。

3. 如何将KLT用于PCA？

PCA降维可以用于压缩（详见主成分分析的介绍），这里做一个概要：

假设待压缩数据为N维向量x，通过KLT变换压缩成M维信号y（M<N）

找到x的均值M_x和协方差矩阵 Σ_x
计算 Σ_x的特征值λi和特征向量φi，并按照λi递减（从大到小）的顺序重新组合，i∈[0,N-1]
根据能量比>=threshold 进行m个主成分的选择
将M个最大特征值对应的特征向量重新组合成N*M的特征向量矩阵 Φ_m
做KLT变换 y = Φ_m^Tx，形成压缩向量y

逆KLT变换恢复x，x = Φ_my

Reference：

1. http://fourier.eng.hmc.edu/e161/lectures/klt/node4.html

2. http://fourier.eng.hmc.edu/e161/lectures/klt/node3.html

关于信号压缩和降维的讨论与交流，敬请关注本博客和新浪微博Sophia_qing。

转自

Karhunen-Loeve Transform（KLT）是一种数据变换与分析方式，常用于数据压缩和PCA降维。

1. KLT是什么变换，KLT的目的是什么？

KLT是对向量x做的一个正交变换y=Φx，目的是变换到y后去除数据相关性。

PS：其中，Φ是x特征向量组成的矩阵，满足Φ^TΦ=I，当x都是实数时，Φ是正交矩阵。

2. 为什么说KLT可以去除数据相关性？

用m_y表示向量y的平均值，y的协方差矩阵记为Σy，通过变换 y=Φ^Tx，有

写成矩阵形式：

由此可见，做了KLT变换之后呢，Σy成为了对角阵，也就是对于任意i≠j，有cov(yi,yj)=0；i=j有cov(yi,yj)=λi，所以说去除了数据相关性。而且，yi的方差与x协方差矩阵的第i个特征值相等，即。

3. 如何将KLT用于PCA？

PCA降维可以用于压缩（详见主成分分析的介绍），这里做一个概要：

假设待压缩数据为N维向量x，通过KLT变换压缩成M维信号y（M<N）

找到x的均值M_x和协方差矩阵 Σ_x
计算 Σ_x的特征值λi和特征向量φi，并按照λi递减（从大到小）的顺序重新组合，i∈[0,N-1]
根据能量比>=threshold 进行m个主成分的选择
将M个最大特征值对应的特征向量重新组合成N*M的特征向量矩阵 Φ_m
做KLT变换 y = Φ_m^Tx，形成压缩向量y

逆KLT变换恢复x，x = Φ_my

Reference：

1. http://fourier.eng.hmc.edu/e161/lectures/klt/node4.html

2. http://fourier.eng.hmc.edu/e161/lectures/klt/node3.html

关于信号压缩和降维的讨论与交流，敬请关注本博客和新浪微博Sophia_qing。

转自http://blog.csdn.net/abcjennifer/article/details/8074583

Karhunen-Loeve Transform (KLT) 原理及PCA应用相关推荐

Karhunen-Loeve Transform KLT 原理及PCA应用
分享一下我老师大神的人工智能教程!零基础,通俗易懂!http://blog.csdn.net/jiangjunshow 也欢迎大家转载本篇文章.分享知识,造福人民,实现我们中华民族伟大复兴! Karh ...
Karhunen-Loeve Transform (KLT) 原理及PCA应用（转载）
http://blog.csdn.net/abcjennifer/article/details/8074583 Karhunen-Loeve Transform(KLT)是一种数据变换与分析方式,常 ...
Karhunen-Loeve Transform (KLT)
Karhunen-Loeve Transform (KLT) source:http://fourier.eng.hmc.edu/e161/lectures/klt/node3.html 是与协方差矩 ...
主成分分析原理（PCA）
主成分分析原理(PCA) 两个矩阵相乘的意义是将右边矩阵中的每一列向量变换到左边矩阵中以每一行行向量为基所表示的空间中去. 选择不同的基可以对同样一组数据给出不同的表示,如果基的数量少于向量本身的维 ...
Karhunen–Loeve Decomposition (K-L展开)
WIKI概述 In the theory of stochastic processes, the Karhunen–Loève theorem (named after Kari Karhunen ...
概率霍夫变换（Progressive Probabilistic Hough Transform）原理详解
概率霍夫变换(Progressive Probabilistic Hough Transform)的原理很简单,如下所述: 1.随机获取边缘图像上的前景点,映射到极坐标系画曲线: 2.当极坐标系里面有 ...
Karhunen-Loeve Transform (KLT, KL变换）
酉矩阵 http://zh.wikipedia.org/wiki/%E9%85%89%E7%9F%A9%E9%98%B5 在晶体学里,酉变换叫做幺正变换,也就是将空间(可以是任意维的)中一组基矢做一个 ...
数学建模|主成分分析原理（PCA）
一.PCA简介 1. 相关背景主成分分析(Principal Component Analysis,PCA), 是一种统计方法.通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量,转换 ...
我爱机器学习网机器学习类别文章汇总
机器学习领域的几种主要学习方式 From Stumps to Trees to Forests KDD-2014 – The Biggest, Best, and Booming Data Scien ...

最新文章

热门文章