亮点：

1. 使用Moser Flow (MF) 相比于其他连续标准化流 (CNF)不需要在训练过程解常微分方程 (ODE)，因此训练速度相对较快；

2. 在1的基础上，证明了在一定的前提下，MF可以泛化任意的流形，并且这是流模型 (包括CNF在内)第一次在一般的曲面上 (文中指3D兔子，泛指除了球，椭圆这一类基础曲面)进行了采样生成实验。

前提知识：

1) Change of variable formula:

概率密度的转换

2）Euclidean data：

所谓的欧氏（欧几里德）数据指的是类似于图片(grids)，文本(sequence)，同样Non-Euclidean Data指的是高维不规则(无穷规则)数据，例如复数域(多了一个虚轴)，流形(黎曼几何)。

来自NIPS的reviews (节选翻译)：

Moser Flow: Divergence-based Generative Modeling on Manifolds | OpenReviewIntroducing a novel generative model on manifolds based on a classical flow by Moser.https://openreview.net/forum?id=qGvMv3undNJ

PC和5个审稿人(78877)：

”reduces computational cost to train CNFs by no longer needing to solve an ODE.“——不再需要解ODE训练CNF，减少了计算成本。
“likelihood computation does not require evaluating an ODE, constrast to regular CNFs.“——同上，似然估计也是训练的一部分。
“Probably universal density estimator under suitable assumptions.“——泛化能力有保证。
“scalability limitations to higher dimensional problems.“——高维问题上难以应用。
”regularization of the negative part of the density in moser flows introduces an additional hyperparameter for tuning. worries that the regularization parameter might lead to unstable training of chosen wrongly.“——损失函数里有一个 $\lambda$ 需要调，可能训练不稳定。
”Moser flow is not guaranteed to induce a valid probability density.“——MF不能保证生成有效的概率密度。（负值的影响嘛？）
......

TBD

黎曼流形学习的学习笔记(1):Moser Flow: Divergence-based Generative Modeling on Manifolds(来源：NIPS 2021 oral)相关推荐

技术胖前端学习路线学习笔记【更新中】
文章目录技术胖前端学习路线学习笔记 1. 网络知识 2. 超文本标记语言(HTML) 3.层叠样式表(CSS) 4.浏览器脚本语言(JavaScript) 5.版本控制管理系统Version Con ...
vs2010 学习Silverlight学习笔记(7)：控件样式与模板
概要: 终于知道Silverlight--App.xaml是干什么用的了,不仅可以用来封装样式(类似css),还可以制定控件模版...好强大的功能啊. 封装: 继续学习<一步一步学Silverl ...
Deep Learning（深度学习）学习笔记整理系列之（五）
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04 ...
《如何高效学习》读书笔记（一）——整体性学习策略
首先奉上思维导图: 比喻的重要性华罗庚在讲"统筹"方法时,用了"怎样泡茶最省时间"的比喻. 比喻的作用常常被我们忽视,仅仅把它当作文学中的修辞手段,是文学家用 ...
Deep Learning（深度学习）学习笔记整理系列之（二）
Deep Learning(深度学习)学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者:Zouxy version 1.0 2013-04 ...
Deep Learning（深度学习）学习笔记整理系列之（八）
Deep Learning(深度学习)学习笔记整理系列之(八) 分类: Deep Learning 机器学习 Linux驱动2013-04-10 11:4257652人阅读评论(25)收藏举报 ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（2）前言（介绍各种机器学习问题）以及数据操作预备知识Ⅰ
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
吴恩达《神经网络与深度学习》精炼笔记（5）-- 深层神经网络
上节课我们主要介绍了浅层神经网络.首先介绍神经网络的基本结构,包括输入层,隐藏层和输出层.然后以简单的2 layer NN为例,详细推导了其正向传播过程和反向传播过程,使用梯度下降的方法优化神经网络参 ...
吴恩达《神经网络与深度学习》精炼笔记（4）-- 浅层神经网络
上节课我们主要介绍了向量化.矩阵计算的方法和python编程的相关技巧.并以逻辑回归为例,将其算法流程包括梯度下降转换为向量化的形式,从而大大提高了程序运算速度.本节课我们将从浅层神经网络入手,开始真 ...

黎曼流形学习的学习笔记(1):Moser Flow: Divergence-based Generative Modeling on Manifolds(来源：NIPS 2021 oral)

亮点：

前提知识：

来自NIPS的reviews (节选翻译)：

黎曼流形学习的学习笔记(1):Moser Flow: Divergence-based Generative Modeling on Manifolds(来源：NIPS 2021 oral)相关推荐

最新文章

热门文章