正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同

题目：正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同

如果研究了稀疏分解再来研究压缩感知可能会有一个疑惑：在稀疏分解中有一个OMP算法，在压缩感知的重构算法中也有一个OMP算法，它们有什么区别和联系呢？

其实它们都是一样子的！

从数学模型来入手分析这个问题：

1）稀疏分解要解决的问题是在冗余字典A中选出k列，用这k列的线性组合近似表达待稀疏分解信号y，可以用表示为y=Aθ，求θ。

2）压缩感知重构要解决的问题是事先存在一个θ和矩阵A，然后得到y=Aθ（压缩观测），现在是在已知y和A的情况下要重构θ。

看到了没？实际上它们要解决的问题都是对已知y和A的情况下求y=Aθ中的θ。

上面各式中，A为M×N矩阵（M>>N，稀疏分解中为冗余字典，压缩感知中为传感矩阵A=ΦΨ，即测量矩阵Φ乘以稀疏矩阵Ψ），y为M×1的列向量（稀疏分解中为待稀疏分解信号，压缩感知中为观测向量），θ为N×1的列向量（稀疏分解中为待求分解系数，压缩感知中为信号x的在变换域Ψ的系数，x=Ψθ）。

所不同的是，在稀疏分解中θ是事先不存在的，我们要去求一个θ用Aθ近似表示y，求出的θ并不能说对与错；在压缩感知中，θ是事先存在的，只是现在不知道，我们要通过某种方法如OMP去把θ求出来，求出的θ应该等于原先的θ的，然后可求原信号x=Ψθ。

将以上关系清晰表述如下：

其中：

和

稀疏分解是选择冗余字典A中尽量少的列向量（原子），使其线性组合等于或近似等于y，例如共选择了A中的k列：a_t1, a_t2, a_t3,…, a_tk ，对应的线性组合系数为θ_t1,θ_t2, θ_t3,…,θ_tk，记A_t = [ a_t1, a_t2, a_t3,…, a_tk]，θ_t= [θ_t1, θ_t2,θ_t3,…, θ_tk]^T，T表示转置。则

注意：下标t1,t2,…,tk并不是从小到大排列，而是代表了OMP算法所选择原子的次序。

现在有一个关键问题是θ_t1,θ_t2, θ_t3,…,θ_tk的值分别是多少？这是我们最终所求的解……

我们的问题实际上是从y=A_tθ_t中已知y和A_t求θ_t（y为M×1的列向量，A_t为M×k的矩阵，θ_t为k×1的列向量），则最小二乘解为

这个时候的残差为

这里的问题实际上是正交投影的概念，可以参见《压缩感知中的数学知识：投影矩阵（projectionmatrix）》。

对于压缩感知重构过程也是一样，只是求得的θ_t的最小二乘解应该为原信号x的稀疏分解系数，那么问题就来了：你怎么知道通过OMP等重构算法求出的θ就是原来的x=Ψθ中的那个θ呢？为什么通过OMP迭代后一定会选出矩阵A的那几列呢？会不会选择A的另外几列，它们的线性组合也满足y=Aθ？这个问题我们下篇《为什么正交匹配追踪(OMP)一定能恢复信号？》再说。

其实MP也好，改进后的OMP也罢，最初提出都是面向稀疏分解的，当时还没有压缩感知的概念，只是后来压缩感知提出后将其引入到了压缩感知重构中，因为前面也说了，其实他们的本质是一样子的，都是已知y和A的情况下求y=Aθ中的θ。

MP和OMP最初提出的文献一般分别引用以下两篇：

【1】S Mallat, Z Zhang.Matching pursuit with time-frequency dictionaries[J]. IEEE Transactions onSignal Processing, 1993, 41(12): 3397-3415.

【2】Y.C.Pati, R.Rezaiifar,and P.S.Krishnaprasad. Orthogonal Matching Pursuit-Recursive FunctionApproximation with Applications to wavelet decomposition, Proc. 27^thAnnu. Asilomar Conf. Signals, Systems, and Computers, Pacific Grove, CA, Nov.1993,vol.1,pp40-44.

将OMP明确用于重构的文献一般引用：

【3】Joel A. Tropp and Anna C. Gilbert. Signal Recovery From Random Measurements Via Orthogonal Matching Pursuit[J]. IEEETransactions on Information Theory, VOL. 53, NO. 12, DECEMBER 2007.

正是由于稀疏分解与压缩感知这种密切关系，所以很多研究压缩感知的人实际上都是做稀疏分解出身的，有些稀疏表示课题则是顺带刷几篇压缩感知的论文，作为课题组研究方向的一个延伸。

正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同相关推荐

匹配追踪MP和正交匹配追踪OMP算法
匹配追踪MP和正交匹配追踪OMP算法 http://blog.csdn.net/wwf_lightning/article/details/70142985 http://blog.csdn.net/ ...
正交匹配追踪(OMP)其它改进算法
原文链接:http://blog.csdn.net/jbb0523/article/details/45693359 题目:正交匹配追踪(OMP)其它改进算法下面介绍10篇文献中的OMP改进算法,首 ...
压缩感知重构算法之正交匹配追踪(OMP)
题目:压缩感知重构算法之正交匹配追踪(OMP) 前面经过几篇的基础铺垫,本篇给出正交匹配追踪(OMP)算法的MATLAB函数代码,并且给出单次测试例程代码.测量数M与重构成功概率关系曲线绘制例程代码. ...
【图像重建】基于正交匹配追踪(OMP)算法结合小波变换是图像重建含Matlab源码
1 简介压缩感知是一种全新的信息采集与处理的理论框架,借助信号内在的稀疏性或可压缩性,利用随机投影实现以远低于奈奎斯特频率的采样频率下对压缩数据的采集.该技术应用于医学成像领域,加快CT和MRI的 ...
施密特(Schimidt)正交化与正交匹配追踪
题目:施密特(Schimidt)正交化与正交匹配追踪文献[1]中给出了施密特(Schimidt)正交化的过程: 上面的的[x,y]表示向量内积,[x,y]=xTy=yTx=[x,y].施密特正交化公 ...
压缩感知重构算法之正交匹配追踪算法（OMP）
算法的重构是压缩感知中重要的一步,是压缩感知的关键之处.因为重构算法关系着信号能否精确重建,国内外的研究学者致力于压缩感知的信号重建,并且取得了很大的进展,提出了很多的重构算法,每种算法都各有自己的优 ...
【老生谈算法】matlab实现压缩感知重构算法之正则化正交匹配追踪(ROMP)——ROMP
matlab压缩感知重构算法之正则化正交匹配追踪(ROMP) 1.文档下载: 本算法已经整理成文档如下,有需要的朋友可以点击进行下载序号文档(点击下载) 本项目文档 [老生谈算法]贪婪算法中ROM ...
压缩感知重构算法之广义正交匹配追踪(gOMP)
压缩感知重构算法之广义正交匹配追踪(gOMP) 转载自彬彬有礼的专栏题目:压缩感知重构算法之广义正交匹配追踪(gOMP) 广义正交匹配追踪(Generalized OMP, gOMP)算法可以看作为 ...
sklearn自学指南(part12)--极小角回归及正交匹配追踪
学习笔记,仅供参考,有错必纠文章目录线性模型极小角回归(LARS) LARS Lasso 数学表达式正交匹配追踪(OMP) 线性模型极小角回归(LARS) 极小角度回归(LARS)是一种高维 ...

正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同

正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同相关推荐

最新文章

热门文章