贝叶斯神经网络的辩论

贝叶斯概率体系的研究有一段时间了，目前在推进贝叶斯神经网络，看到这篇文章的辩论，这里保存下。

https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247500837&idx=1&sn=df0915b394369cfe5c9e936c44143941&chksm=ec5473a2db23fab4ddfc73cd71ceb564f3d117413bf23409f10a914d4f785fa2bcc198c8375d&mpshare=1&scene=1&srcid=&sharer_sharetime=1579477971698&sharer_shareid=5602b79897cf8f6f7ddc6bebc0fd31a9&key=d9ed8b7b5a182cf8319326febeea126dc1a0f133c658544dc5a4550e0eda8ec115e8e4e4c539675ba2269197e22ec02fb6bef89e14a5eb4947f8da7d96a9dcdca8990658151a21d1a2f4588fae22ec06&ascene=1&uin=MjkzMjQ1MDQyMQ%3D%3D&devicetype=Windows+10&version=6208006f&lang=zh_CN&exportkey=A6m66N3FpiMED6fEohk8tnQ%3D&pass_ticket=RcwNUyqM5HUb5Q0toVx4GZ7wGLL6ir4vcFrHTHhGmEj4eN94mJ423SQNuuAJpNn1

摘要：

1、BNN的简要介绍

权重服务分布，在KL-loss后向传播上，先验分布的超参和激活函数选取还很重要。贝叶斯还有什么好处，正则化效果之外，正则化是通过稀疏解来发挥作用，但稀疏解和超参训练有关，这个目前还没看到相关文献的证明和实验。

2、论点：

关键是对特定场景的先验有认知，否则先验作用就不大了。另外就是可解释性。不好就论点更多发挥，但亲测在某些数据集上特别有效。如笔者用在推荐系统的矩阵分解上，高斯分布的后验具有解析解，速度非常快，但随着负样本采样增多，性能并未如SVD那样提升。

这个论点还是可以接受的。

更深的贝叶斯神经网络，欢迎到个人github上一起探讨。

贝叶斯神经网络的辩论相关推荐

结合随机微分方程，多大Duvenaud团队提出无限深度贝叶斯神经网络
©作者 | 小舟.陈萍来源 | 机器之心来自多伦多大学和斯坦福大学的研究者开发了一种在连续深度贝叶斯神经网络中进行近似推理的实用方法. 把神经网络的限制视为无限多个残差层的组合,这种观点提供了一种 ...
贝叶斯神经网络计算核裂变碎片产额
作者丨庞龙刚单位丨华中师范大学研究方向丨高能核物理.人工智能今天介绍一篇北京大学物理系使用贝叶斯神经网络计算核裂变碎片产额的文章.这篇文章发表在 PRL 上,业内同行都很感兴趣.这里对我们大同行 ...
pytorch贝叶斯网络_贝叶斯神经网络：2个在TensorFlow和Pytorch中完全连接
pytorch贝叶斯网络贝叶斯神经网络 (Bayesian Neural Net) This chapter continues the series on Bayesian deep learni ...
贝叶斯深度神经网络_深度学习为何胜过贝叶斯神经网络
贝叶斯深度神经网络 Recently I came across an interesting Paper named, "Deep Ensembles: A Loss Landscape ...
PyMC3实现贝叶斯神经网络
转自https://blog.csdn.net/jackxu8/article/details/71308390#commentBox 源地址https://docs.pymc.io/notebook ...
【机器学习基础】贝叶斯神经网络
本系列为<模式识别与机器学习>的读书笔记. 一,混合密度网络作为逆问题,考虑机械臂的运动学问题.正向问题(forward problem)是在给定连接角的情况下求解机械臂末端的位置,这个 ...
贝叶斯神经网络的 MCMC 训练 MCMC Training of Bayesian Neural Networks
from: http://www.fields.utoronto.ca/talks/MCMC-Training-Bayesian-Neural-Networks 一.贝叶斯神经网络模型 Bayesia ...
实验一：贝叶斯神经网络及其如何用随机梯度马尔可夫链蒙特卡洛有效训练
0.实验环境搭建: 源代码获取: 来源一:google 来源二:web 来源三:github 环境: conda create --name python36_google_deep python=3 ...

贝叶斯神经网络的辩论

贝叶斯神经网络的辩论相关推荐

最新文章

热门文章