Iterative Soft Thresholding和Iterative Shrinkage/Thresholding的区别
题目:IST:Iterative Shrinkage/Thresholding和Iterative Soft Thresholding
本篇是对压缩感知重构算法之迭代软阈值(IST)的延续,可能需要以下基础:软阈值(Soft Thresholding)函数和硬阈值(Hard Thresholding)函数。
前面我们在讨论迭代软阈值算法时提到,一般文献中出现的IST或ISTA简称中的“S”并非指的是“soft”,而是“shrinkage”,即“Iterative Shrinkage/ThresholdingAlgorithm”,那么Iterative Soft Thresholding和Iterative Shrinkage/Thresholding究竟有什么区别呢?是不是同一个算法的不同称呼呢?由于找不出一篇具体的、权威的IST算法起源文献,本篇就通过多篇文献中与IST有关的蛛丝马迹尝试去探索一下这个问题的真相……
首先给出本文对此问题的结论:
Iterative Soft Thresholding是Iterative Shrinkage/Thresholding的一种特殊情况,即每次迭代(iteration)时正好是求软阈值(soft thresholding)函数时的特殊情况。
另外,你要认为它们是一样的也可以,这就是一个狭义和广义的问题。
接一来,我们来看一看文献中有关IST的内容:
【1】Daubechies I, Defrise M, Mol C D.An iterative thresholding algorithm for linear inverse problems with asparsity constraint[J]. Communications on Pure & Applied Mathematics,2004, 57(11):1413–1457.
本篇文献经常被引为IST的提出文献之一,但该文献中并没有明确出现IST的简称。
首先看文中的一处描述:这里Iterative、Shrinkage、Thresholding三个单词都出现了,虽然没有连在一起:
然后在Theorem3.1中出现了“shrinkage operator”,这是一个很关键的词,因为我们在上篇中曾谈到之所以将算法称为Iterative Soft Thresholding是因为每一次迭代执行Soft Thresholding函数:
这个“shrinkage operator”的定义为式(17),如下:
式(17)的定义又引用到了式(14)和式(16):
注意:式(14)中的(Fw,p)-1表示求反函数。当p=1时,可得式(16):
文中提到的式(10)定义如下:
注意:式(16)即为我们熟悉的Soft Thresholding函数。
因此,我们得出一个结论,“Soft Thresholding”是“shrinkage operator”当p=1时的一种特殊情况。
排除同名的可能性,本文献的第一作者Ingrid Daubechies即为著名的db系列小波基(Daubechies小波)提出者,也是《小波十讲》的作者。
【2】Elad M.Why Simple ShrinkageIs Still Relevant for Redundant Representations?[J]. IEEE Transactions onInformation Theory, 2006, 52(12):5559-5569.
我们接着来看“Shrinkage”:
这里提到的式(7)和式(6)分别是:
而这里提到的Fig.2如图所示:
图名里提到的LUT是指lookup table (LUT) function。注意:图中的左上图为Soft Thresholding函数,而右上图为Hard Thresholding函数。
因此,我们得出一个结论:Soft Thresholding和Hard Thresholding是“Shrinkage”的一种特殊情况,分别是当式(6)中的ρ(z)=|z|(1范数)和ρ(z)=|z|0(0范数)。
【3】Elad M.A wide-angle view atiterated shrinkage algorithms[J]. Proceedings of SPIE - The InternationalSociety for Optical Engineering, 2007, 6701(6701):26--29.
我们接着来看“Shrinkage”:
注意这里提到的经典的Donoho-Johnston shrinkage method是由参考文献[18]提出,这里的参考文献[13][18]是如下两篇文献:
还记得这两篇文献么?Soft Thresholding和Hard Thresholding是由[18]提出的。
接下来,有一段非常明确的有关“Shrinkage”的描述
注意后面加了波浪下划线的话:得到的“Shrinkage”函数是一条将输入x0映射为输出xopt的曲线,这个函数将原点附近范围的值映射为0,出了这个范围的值被“shrinked”,因此有了这个operator的名字。
值得注意的是,当p=1,求解方程(12)将得到soft thresholding函数。
【4】Bioucas-DiasJ M, Figueiredo M A T.A new TwIST: two-stepiterative shrinkage/thresholding algorithms for image restoration[J]. IEEETransactions on Image processing, 2007, 16(12): 2992-3004.
这篇文献对IST的阐述更为清晰。首先看这篇文献要解决的问题(1):
然后看一段综述,这里明确提到Iterative Shrinkage/Thresholding(IST):
注意这里多次提到IST多次被“independently”提出。文中接下来又提到了“shrinkage”函数:
文中提到的denoising operator式(3)如下所示:
也就是说这里讨论的shrinkage function即为denoising operator式(3)的解。当p=1时,denoising operator(3)由式(8)给出:
可以看出,式(8)就是soft thresholding函数,也就是说soft thresholding函数是shrinkage function当p=1时的一种特殊形式。
文中明确给出了IST算法:
而原始的IST算法是当β=1时的特殊情况。从式(13)可以看出,Iterative Soft Thresholding 是Iterative Shrinkage/Thresholding的一种特殊情况。
【5】Bredies K,Lorenz D.Iterative soft-thresholdingconverges linearly[R]. Zentrum für Technomathematik, 2007.(Available at: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.245.1143&rep=rep1&type=pdf)
直接讨论Iterative Soft Thresholding的文献较少,本文献即直接讨论了Iterative Soft Thresholding的收敛情况。文中提到Iterative Soft Thresholding是为了解决式(1.1):
这个式(1.1)并不太熟悉,原因在于正则项|uk|(即1范数)前面的系数为随k的变化是变化的,其实这个并不影响什么,将式(1.1)按soft thresholding推导过程中面对的优化问题拆开,即可知这个影响的只是每次求软阈值时门限不一样而已。
从文中以下描述可以看出,本篇文献即为Iterative Soft Thresholding算法:
另外,文中提到了Iterative Soft Thresholding算法的其它名字如thresholded Landweber。
【6】Beck A, Teboulle M.A FastIterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems[J].Siam Journal on Imaging Sciences, 2009, 2(1):183-202.
本篇文献实际上是把Iterative Soft Thresholding和Iterative Shrinkage/Thresholding认为是同一种算法:
另外,文中也提到了Iterative Shrinkage/Thresholding的一些其它名字:
【7】Wright S J,Nowak R D, Figueiredo M A T.Sparsereconstruction by separable approximation[J]. IEEE Transactions on SignalProcessing, 2009, 57(7): 2479-2493.
本篇文献中提到了更多Iterative Shrinkage/Thresholding的一些别名,虽然这些别名并不常见:
【8】Nowak R D, Wright S J.Gradientprojection for sparse reconstruction: Application to compressed sensing andother inverse problems[J]. IEEE Journal of selected topics in signalprocessing, 2007, 1(4): 586-597.
将本篇文献放在这里并不是为了探讨shrinkage的含义。本文献是为了求解优化问题:
熟悉BPDN的知道,这就是基追踪降噪问题。文中有一段有关IST的描述:
其中文中的IST全称为:
文中的CS全称为:
注意最后一句,文献说IST对于解决压缩感知问题可能并不是很有效,原因是“it may be loose in the CS case,where matrix usually has many fewer rows than columns.”。对于这一点我有些疑问,原因是经过debias后,我们的IST能够进行压缩感知重构。
Iterative Soft Thresholding和Iterative Shrinkage/Thresholding的区别相关推荐
- (转)IST:Iterative Shrinkage/Thresholding和Iterative Soft Thresholding
原 IST:Iterative Shrinkage/Thresholding和Iterative Soft Thresholding 2016年08月10日 15:26:02 jbb0523 阅读数: ...
- IST:Iterative Shrinkage/Thresholding和Iterative Soft Thresholding
题目:IST:Iterative Shrinkage/Thresholding和Iterative Soft Thresholding 本篇是对压缩感知重构算法之迭代软阈值(IST)的延续,可能需要以 ...
- IST改进算法之Two-Step Iterative Shrinkage/Thresholding(TwIST)
题目:IST改进算法之Two-Step Iterative Shrinkage/Thresholding(TwIST) 本篇介绍IST的一种改进算法TwIST,该改进算法由以下文献提出: Biouca ...
- Iterative Shrinkage Thresholding Algorithm
Iterative Shrinkage Thresholding Algorithm(ISTA) ISTA 对于一个基本的线性逆问题: y=Ax+w(1){y}={A} {x}+{w}\tag{1} ...
- 压缩感知重构算法之迭代软阈值(IST)
题目:压缩感知重构算法之迭代软阈值(IST) 看懂本篇需要有以下两篇作为基础: (1)软阈值(Soft Thresholding)函数解读 (2)Majorization-Minimization优化 ...
- 如何解决 Iterative 半监督训练 在 ASR 训练中难以落地的问题丨RTC Dev Meetup
前言 「语音处理」是实时互动领域中非常重要的一个场景,在声网发起的「RTC Dev Meetup丨语音处理在实时互动领域的技术实践和应用」活动中,来自微软亚洲研究院.声网.数美科技的技术专家,围绕该话 ...
- 「机器视觉」学习笔记 - Thresholding Techniques- 图像阈值
shiIntroducing thresholding techniques Simple thresholding technique Adaptive thresholding technique ...
- paper fast review :Deep Residual Shrinkage....
文章目录 Deep Residual Shrinkage Networks for Fault Diagnosis Summary 摘要 (中文) Research Objective Backgro ...
- Reproducible Research in Computational Science
Reproducible Research in Computational Science from: http://www.csee.wvu.edu/~xinl/source.html " ...
最新文章
- 如果要存ip地址,用什么数据类型比较好?
- linux 进程参数文件 /proc/pid/cmdline 简介
- 【深度学习】深度学习之对抗样本问题和知识蒸馏技术
- 皮尔·卡丹的管理思想精髓:从小做到大
- C++中函数的默认参数
- 十年Java路,和大家来谈谈系统架构
- 手动添加linux用户
- 中挪动正请求第三方支出牌照竖立支出公司
- oracle sql 分区查询语句_Oracle分区表跨分区查询数据为空
- 如何找到chromedriver与chrome的对应版本
- 智能优化算法——遗传算法原理(附代码)
- python制作自动交易软件排名_A股股票自动化交易软件的使用和简易说明书,根据多年经验使用python开发...
- 《未来世界的幸存者》摘录
- c语言实现文件名随时间变化,WizTree 最好用的磁盘文件分析工具
- python求最大值函数_python实战: 获取最大值函数
- [深度长文] 996的经济学
- 基于ubuntu系统的HEVC视频编码与解码
- 支付宝B2C转账流程
- linux服务器缓存环境memcached搭建及应用(java)
- 图片的合成(个人练习,不喜勿喷!)
热门文章
- 可以免费自学编程的12个网站,各种资料齐全!
- [排序不等式] 排队打水(排序不等式+贪心)
- 神经网络的前向传播推导(图、公式)
- vue slots 透传
- 《涨知识啦32》-SBD器件中的肖特基二极管漏电流机制 (上)
- Optimizing Subjective Quality in HEVC-MSP: An Approximate Closed-form Image Compression Approach
- STM32 PWM输出实验总结
- vue项目使用百度地图插件
- 基于RSSI三维空间四点定位算法
- Toontrack EZkeys for Mac,音乐合成软件