1：解决的问题模型如下：

 
或者约束条件可以适当的松弛，即为如下模型： 
 
当然约束条件取范数，数据获取的比较准确，结果逼近的效果更好，防止过拟合。如果取 范数，则是获取的数据，受到污染比较严重。并且 本身就是稀疏的。这也是人的经验对于模型的成功也是很重要的。 
2：几类优化算法 
(1)梯度投影算法Gradient Projection Methods 
原问题可以变为如下问题： 
 
下面介绍两种方法对其进行处理。 
i)上式又等价于： 

 
所以就有如下记号和约定： 
 
更新 时沿着负梯度的方向下降最快。但是只是局部最小值。 
 
其中 是步长，可以用线搜索的方法来确定最优步长。 
下介绍第二种方法 truncated Newton interior-point method. 
ii)上式又等价于： 
 
利用内点法的把约束条件给罚到目标函数上去。 
在这里我们对约束条件利用logarithmic barrier函数进行改写。 
 
在这里，我们可以看到当 越接近的时候，函数值会变得越大。当 无限趋近于时，则函数值无限趋于无穷大。所以只有当 趋近于0时候，函数值才趋近于一个常数。 
所以上式可以等价于如下模型： 

然后利用牛顿算法进行求解计算。

(2)迭代阈值收缩算法 Iterative Shrinkage-Thresholding Methods 
对于一般的模型： 
 
其中：

对 二次近似。则问题转变成如下： 
 
可以适用迭代阈值算法。关于l_{1}范数最优化的迭代阈值算法的证明可以参见我的另一篇博客

(3)近端梯度算法 Proximal gradient method 
其处理的模型如下： 
 
其中是连续可微的，微分函数满足利普希茨条件成立： 
 
其中相当于代替的二阶偏导。 
那么可以进行如下算法来解决问题： 
 
说明： 
第一步的更新：按照沿着负梯度的方向下降最快 
第二步的更新：有数值解，进行软阈值操作。 
(4)交替方向法 Alternating Direction Methods 
其实利用的是拉格朗日算法，来进行更新出来。解决的模型如下： 
 
其拉格朗日函数如下： 
 
问题变为分别最小化。 
说明： 
更新时，固定，直接求导，有数值解。 
更新 时，固定经过化简，可以运用软阈值进行操作计算。 
更新时，固定，直接求导，有数值解。

l1范数最小化快速算法【文献阅读】相关推荐

1. l1范数最小化快速算法

   1:解决的问题模型如下: 或者约束条件可以适当的松弛,即为如下模型: 当然约束条件取

2. 稀疏优化L1范数最小化问题求解之基追踪准则(Basis Pursuit)——原理及其Python实现

   文章目录 一.前言 二.问题重述 三.构造 ℓ1\ell_1ℓ1​ 范数 四.ℓ1\ell_1ℓ1​ 范数最小化问题转换为线性规划问题 五.基于linprog的基追踪Python代码 六.运行测试 七 ...

3. 三维网格去噪算法（L0范数最小化，包含二维图像去噪）

   参考文章(技术来源):Mesh denoising via L0 minimization 上面参考文章提出了一种基于L0范数最小化的三角网格去噪算法.该思想由二维图像平滑引申而来,所以先从基于L0范 ...

4. l20范数最小化求解系数方程_贪婪组稀疏方法(Greedy group sparsity)

   l20范数最小化求解系数方程_贪婪组稀疏方法(Greedy group sparsity) 本文章部分参考Fast group sparse classification l20范数最小化求解系数方程 ...

5. 压缩感知的尽头: 原子范数最小化

   文章目录 前言 问题建模 Toeplitz 矩阵的范德蒙德分解 DOA估计的一般框架 ℓ0\ell_0ℓ0​-原子范数 ℓ0\ell_0ℓ0​-原子范数 与 范德蒙德分解 原子范数 多维原子范数 证明 ...

6. PSO算法文献阅读笔记

   粒子群算法读书笔记精读 2020<电子信息学报>基于非线性降维的自然计算方法 孙小晴(2020-04-28) 1针对问题 高维大规模优化问题,陷入局部最优与收敛速度和时间复杂度的矛盾. 2 ...

7. 【计算机视觉】运动目标检测算法文献阅读笔记

   先前在博客中对常见的运动目标检测算法有写过一篇总结,详情请参考:http://blog.csdn.NET/kezunhai/article/details/8830787.本文是在校期间写的部分阅读笔 ...

8. 图像处理-基于图像梯度L0范数最小化(L0smooth)的保护边缘平滑滤波

   算法程序备注: (1)下面是对一幅自然图像进行处理的结果: 可以看到图像有非常明显的变化,图像分成了一块一块,这是图像平滑后的结果,因为保护了边界,因此明显的边界仍然存在,但是不可避免的细节部分被磨平 ...

9. 超定线性方程组Ax=b极小L1范数求解——MATLAB/Python实现

   文章目录 一.前言 二.问题重述 二.极小模剩余向量的性质及求法 三.基于基追踪准则的一种求解算法 四.算法伪码 五.超定线性方程组极小 ℓ1\ell_1ℓ1​ 范数求解Python代码 六.检验与测 ...

最新文章

1. linux监听9080,基于UPnP发现与组播技术的IPTV终端实现
2. 使用antd报less的错误
3. Android 解决 No static method in class La/a/a/a; or its super classes
4. 牛客 华为机试（我的代码记录）
5. 《剑指offer》左旋转字符串
6. stripe pay_J2Pay –简介
7. leetcode110. 平衡二叉树（递归）
8. 自注意力机制Self-attention（2）
9. 小样本不符合正态_金莎相亲对象不符合择偶标准，男生单眼皮小眼睛，但她还是沦陷了...
10. html导航怎么跟着往下滚动,javascript,html_导航要跟着鼠标滚动向下滚动，用了jquery插件但是报错，请问大牛是什么原因？，javascript,html - phpStudy...
11. ASP.NET MVC5+EF6+EasyUI 后台管理系统（28）-系统小结
12. [转载]MySQL事务隔离级别
13. PHP修改防火墙ip,利用防火墙进行同网段下的ip地址欺骗
14. jquery解析php json,Jquery解析json数据详解_jquery
15. 新年放大招：Github 私库免费了！
16. Maven ojdbc错误：Cannot resolve com.oracle:ojdbc6:11.2.0.1.0
17. 如何修改安卓app图标和名称
18. java读取properties文件连接数据库
19. 转载：欧姆社 漫画学习统计学
20. 计算机科学与技术军训,计算机科学与技术学院召开2018级新生军训动员大会

热门文章

1. 板材开料最优算法_板材套料软件AutoNest与Tekla Structures协同工作实现设计到加工自动化...
2. channelread0会被调用两次_值得一看：C#同步方法中如何调用异步方法？
3. struts2教程--实现文件上传下载
4. Android踩坑日记：监听软键盘多次调用和刷新系统相册和获取所有相片
5. druid ssh加密 java mysql_springboot 整合druid数据库密码加密功能的实现代码
6. Android数据库LitePal的存储操作
7. python无效数据怎么办_Python使用sqlite插入数据无效的原因
8. python selenium grid_selenium grid 使用
9. 丁晓东_丁晓东|一种光盖过了另一种光NO.984
10. c# export server 调用sql_[转]使用C#调用cmd来执行sql脚本