截图来自：
Lower bounds & Projected Gradient Descent

投影点的性质

如果X是一个非空闭凸集且

证明在http://users.ece.utexas.edu/~cmcaram/EE381V_2012F/Lecture_3_Scribe_Notes.final.pdf 一文的proposition 3里

distace to a convex set

也就是说如果distance函数大于0，则距离函数在每个x处的次微分都是唯一的。实际上距离函数这时就是可微的(因为次微分唯一)，次微分等于倒数。

在Projected Gradient Method and LASSO一文里有一个简单的解释
Ps为project函数，sks_{k}为步长，

当αk=1\alpha _{k}=1时：

Projected gradient descent相关推荐

UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent
UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent 前三讲完成了对sparse signal recove ...
Projected Gradient Descent（PGD）对抗训练
PGD对抗训练什么是: 之前说到了FGM对抗训练,FGM 解决的思路其实就是梯度上升,那么 FGM 简单粗暴的"一步到位",是不是有可能并不能走到约束内的最优点呢?当然是有可能的. ...
Gradient Descent和Back propagation在做什么？
Gradient Descent梯度下降实际上你要用一个Gradient Descent的方法来train一个neural network的话你应该要怎么做? 到底实际上在train neural ...
机器学习中的梯度下降（ Gradient Descent）算法
前言梯度下降(Gradient Descent,GD)算法主要分为三种:批量梯度下降(Batch Gradient Descent,BGD)算法.随机梯度下降(Stochastic Gradient ...
Gradient Descent梯度下降（透彻分析）
----------首先了解什么是梯度? 官方解释: 梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为 ...
201-3-19李宏毅机器学习视频笔记七（游戏解释Gradient Descent）
视频部分: 视频7:使用帝国时代游戏解释Gradient Descent 李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ干杯~-bilibili https://www.bilibili.co ...
梯度下降（BGD）、随机梯度下降（SGD）、Mini-batch Gradient Descent、带Mini-batch的SGD
原文:http://blog.csdn.net/llx1990rl/article/details/44001921 梯度下降(BGD).随机梯度下降(SGD).Mini-batch Gradient ...
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent简介
UA MATH567 高维统计专题3 含L1-norm的凸优化6 Stochastic Gradient Descent简介 Stochastic Gradient Descent的思想 Varian ...
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent
UA MATH567 高维统计专题3 含L1-norm的凸优化2 Proximal Gradient Descent Proximal Gradient Descent的公式推导 Proximal O ...

Projected gradient descent

投影点的性质

distace to a convex set

Projected gradient descent相关推荐

最新文章

热门文章