Projected gradient methods for NMF
目录
1 导论
2 现有的解决方法
2.1乘子更新法
2.2 交替最小二乘法
2.3 梯度方法
3 投影梯度法
3.1 对NMF的解决策略
3.2 停止条件
4 实验和结论
个人看法
1 导论
介绍了非负矩阵分解(NMF)的概念以及一些基础的应用，并且介绍了现有的一些针对NMF问题的基础算法。
2 现有的解决方法
主要分三个，乘子更新法、交替最小二乘法和梯度方法。
2.1乘子更新法
乘子更新法如下，其公式分子分母主要是对梯度下降法的一个改进，求导部分大于0说明变量值需要减小。原式分母大于分子，由此来对参数进行更新迭代。复杂度计算是通过更新过程中最复杂的一个部分程序应该运行的次数进行计算，具体可以参考：矩阵乘法复杂度分析_Y-CSDN博客_矩阵乘法复杂度
此算法被证明当k取无穷的时候目标函数不具备收敛的性质，所以作者没有对其进行优化。
2.2 交替最小二乘法
此方法类似于坐标下降法，轮流更新单个变量，以此来达到优化目标函数的目的。并且此方法被证明经过k次更新迭代后，目标函数会收敛。所以作者后面是对此方法进行加以改进。
2.3 梯度方法
作者对此节没有详细描述，只是简单介绍了其中的两个小方法，方法一是通过创建两个新矩阵E和F，我们可以通过优化EF矩阵从而来优化WH矩阵。这个方法可以将有约束的问题转化为无约束的问题，比较方便优化。第二个小方法是直接使用梯度下降法，作者也没有详加讨论。
3 投影梯度法
投影梯度算法（PGD），本论文中我认为其就是对参数在可行域的一个投影，这样有助于解决有约束类的问题。作者根据此提出了算法三和算法四，其中有个Armijo准则，其实就是一个控制步长的一个工具Armijo线搜索_u011584941的专栏-CSDN博客。由于算法3寻找阿尔法会很慢，所以作者提出了算法4，减少寻找阿尔法的次数。
3.1 对NMF的解决策略
以下是对原论文中4.1公式下的推导，推导的目的其实就是想证明这是一个二次规划问题，然后可以对以上的armijo准则进行优化，从而达到减少程序计算的复杂度，进而达到优化的目的。
3.2 停止条件
Projected gradient methods for NMF相关推荐
- Projected Gradient Methods for Nonnegative Matrix Factorization
非负矩阵因式分解(NMF)可以表述为具有约束约束的极值问题. 虽然约束优化在理论和实践上都得到了广泛的研究,但是到目前为止,还没有研究将其技术应用于NMF. 在这篇文章中,我们提出了两种适用于NMF的 ...
- UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent
UA MATH567 高维统计专题1 稀疏信号及其恢复4 Basis Pursuit的算法 Projected Gradient Descent 前三讲完成了对sparse signal recove ...
- Paper：论文解读《Adaptive Gradient Methods With Dynamic Bound Of Learning Rate》中国本科生提出AdaBound的神经网络优化算法
Paper:论文解读-<Adaptive Gradient Methods With Dynamic Bound Of Learning Rate>中国本科生(学霸)提出AdaBound的 ...
- Projected Gradient Descent（PGD）对抗训练
PGD对抗训练什么是: 之前说到了FGM对抗训练,FGM 解决的思路其实就是梯度上升,那么 FGM 简单粗暴的"一步到位",是不是有可能并不能走到约束内的最优点呢?当然是有可能的. ...
- Projected gradient descent
截图来自: Lower bounds & Projected Gradient Descent 投影点的性质 如果X是一个非空闭凸集且 证明在http://users.ece.utexas.e ...
- 【First-order Methods】 8 Primal and Dual Projected Subgradient Methods
参考文献:first-order methods in optimization: Amir Beck 目录 1 From Gradient Descent to Subgradient Desce ...
- 强化学习系列（十三）：Policy Gradient Methods
这是PG的基础篇,在深度强化学习系列中,有结合例子和监督学习的深刻理解PG的进阶篇. 一.前言 之前我们讨论的所有问题都是先学习action value,再根据所得的action value 来选择a ...
- 多维梯度法(Multidimensional Gradient Methods)求多元函数极值或局部最大值
多维梯度法 利用优化函数的导数信息来指导搜索 与直接搜索方法相比,更快地找到解决方案 需要对解决方案进行良好的初步估计 目标函数需要是可微的 梯度法 首先介绍一下梯度法. 梯度是一个向量算子,用▽表示 ...
- 矩阵分解（rank decomposition）文章代码汇总
矩阵分解(rank decomposition) 本文收集了现有矩阵分解的几乎所有算法和应用,原文链接:https://sites.google.com/site/igorcarron2/matrix ...
最新文章
- UniDAC使用教程（二）：数据更新
- 一个Python绘图示例程序中的几个语法糖果
- KVM安装Win系列虚拟机学习笔记
- asp.net自定义控件的使用
- 使用Project Jigsaw的JDK 9 Early Access上的Eclipse IDE
- poj1681 Painter's Problem高斯消元
- Visual Studio 2008创建项目（ATL）
- 10、configparser模块
- Application.messagebox对话框样式
- java调用hownet--jni
- 【Linux】Ubuntu18.04深度学习环境配置+Google+TIM+搜狗输入法等安装方法
- 台式计算机风扇一直响,台式电脑风扇声音大怎么办（笔记本风扇一直嗡嗡响）...
- Openssh rpm 包制作
- storyboard(故事版)新手教程 图文详解 2.为无约束的故事版添加约束
- 【百度网盘】 个人资源共享
- 虚幻引擎4简介，UE4简介--这是一个强大的游戏开发引擎
- 单细胞甲基化测序（scBS-seq）比对率奇低？你的文库方向性参数可能没选对！
- Linux Apache FTP-Server架设
- Java 使用Reactive Redis
- PowerShell 未对文件\XXX.ps1进行数字签名。无法在当前系统上运行该脚本。