机器学习常见概率模型

2024-05-04 14:16:28

机器学习常见概率模型

概率模型
- Bernoulli 分布
- Multinoulli 分布
- 高斯分布
- 指数分布和Laplace 分布
- 分布的混合

概率模型

Bernoulli 分布

Bernoulli 分布（Bernoulli distribution）是单个二值随机变量的分布。它由单个参数ϕ 控制，ϕ 给出了随机变量等于1 的概率。它具有如下的一些性质：

Multinoulli 分布

Multinoulli 分布（multinoulli distribution）或者范畴分布（categorical distribution）是指在具有k 个不同状态的单个离散型随机变量上的分布，其中k 是一个有限值，范畴分布范畴分布实际是对二维泊松分布在维数上的扩展。

高斯分布

实数上最常用的分布就是正态分布（normal distribution），也称为高斯分布（Gaussian distribution），公式和分布如下：

采用正态分布在很多应用中都是一个明智的选择。当我们由于缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时，正态分布是默认的比较好的选择，其中有两个原因。
第一，我们想要建模的很多分布的真实情况是比较接近正态分布的。中心极限定理（central limit theorem）说明很多独立随机变量的和近似服从正态分布。这意味着在实际中，很多复杂系统都可以被成功地建模成正态分布的噪声，即使系统可以被分解成一些更结构化的部分。
第二，在具有相同方差的所有可能的概率分布中，正态分布在实数上具有最大的不确定性。因此，我们可以认为正态分布是对模型加入的先验知识量最少的分布。

指数分布和Laplace 分布

在深度学习中，我们经常会需要一个在x = 0 点处取得边界点(sharp point) 的分布。为了实现这一目的，我们可以使用指数分布（exponential distribution）：

一个联系紧密的概率分布是Laplace 分布（Laplace distribution），它允许我们在任意一点 μ\muμ 处设置概率质量的峰值。

分布的混合

通过组合一些简单的概率分布来定义新的概率分布也是很常见的。一种通用的组合方法是构造混合分布（mixture distribution）。混合分布由一些组件(component)分布构成。

Reference: LeCun, Yann, Yoshua Bengio, and Geoffrey Hinton. “Deep learning.” nature 521.7553 (2015): 436.

机器学习常见概率模型相关推荐

机器学习常见的挑战有哪些？
机器学习常见的挑战有哪些? 从大的类别上来讲,机器学习遇到的两个比较大的挑战是: 1,收集的数据不具有代表性: 2,选择了和数据集合不匹配的学习算法: 从细分的类别上来讲具体是: 1,数据集太小,训练 ...
干货 | 22道机器学习常见面试题目
来源:机器学习算法与自然语言处理本文共6600字,建议阅读13分钟. 本文为你带来22道机器学习常见的面试问题和回答. 1.无监督和有监督算法的区别? 有监督学习:对具有概念标记(分类)的训练样本进 ...
AI理论知识基础（26）-机器学习常见损失函数，共轭梯度法（2）
机器学习常见损失函数, 共轭梯度法(2)
机器学习常见知识点自查50问与答
机器学习常见知识点自查50问与答 1.什么是机器学习 2.机器学习与数据挖掘的区别 3.什么是机器学习的过度拟合现象 4.过度拟合产生的原因 5.如何避免过拟合 6.什么是感应式的机器学习 7.机器学 ...
AI（3）--- 机器学习常见的七个步骤
机器学习常见的七个步骤小编注:这是 AIA (Ai Adventures) 系列的第二期,讲述实现机器学习常见的七个步骤,本篇视频时长约 10 分钟左右,文末有互动"彩蛋",欢迎 ...
【机器学习】机器学习常见符号
机器学习常见符号符号名称符号名称 R 实数集 Rn n维实数向量空间 H 希尔伯特空间 X 输入空间 Y 输出空间 x∈X 输入,实例 y∈Y 输出,标记 X 输入随机变量 Y 输出随机变量 ...
python绘制三维曲线图_机器学习的绘图库有哪些？如何运用python绘制机器学习常见曲线？...
专栏引荐绘图的变量单变量查看单变量最方便的无疑是displot()函数,默许绘制一个直方图,并你核密度估计(KDE) sns.set(color_codes=True) np.random.se ...
机器学习常见术语汇总
A 准确率(accuracy) 分类模型预测准确的比例.在多类别分类中,准确率定义如下: 在二分类中,准确率定义为: 激活函数(Activation function) 一种函数(例如 ReLU 或 ...
机器学习常见评价指标
机器学习常见评价指标 0 引言 \qquad在建模的时候,不论是一般机器学习还是深度学习,都要有评价指标进行模型效果的衡量,评价指标是对于一个模型效果的数值型量化.一般来说,评价指标分为分类问题和回归 ...
14种机器学习常见算法分类汇总
14种机器学习常见算法分类汇总 2015-09-25 待字闺中待字闺中待字闺中微信号 daiziguizhongren 功能介绍深度分析大数据.深度学习.人工智能等技术,切中实际应用场景,为大 ...

最新文章

热门文章