狄利克雷分布公式_Dirichlet分布及其属性
Dirichlet分布及其属性
Dirichlet分布
在概率统计中,Dirichlet分布通常表示为,是一个以正实数
的向量为参数的连续多变量概率分布族。这是Beta分布的多元推广。在贝叶斯统计中,狄氏分布很多情况下可作为先验分布,其实Dirichlet分布是类别分布和多项分布的共轭先验。
狄利克雷分布向无限维度的推广便是狄利克雷过程。
Categorical分布
分类分布(有时也被不确切地称为“离散分布”或“多项分布”)从K个概率中的一个来描述事件的发生概率。参数值必须在0、1之间,它们的和为1。分类分布是伯努利分布向多类随机变量的推广。
在分布的表达式中,令采样空间是有限的整数序列。作为标签,这些整数的值并不是重要的,他们可以是{0,1,…,K-1}或{1,2,…,K}或者其他任意值。为了方便,这里我们使用{1,2,…,K}。
概率密度函数为:
表示元素
发生的概率并且
。
另外一种更复杂但利于数学运算的表达式:
表示:如果
取值为1,否则为0.
严格意义上,分类分布可以看做是多项式分布的一种特殊形式(n=1)。
Dirichlet分布是分类分布和多项分布的共轭先验,这意味着我们可以给分类分布的未知参数一个服从Dirichlet分布的先验分布。然后,这个参数的后验分布(结合观测数据知识后)也是个Dirichlet分布。这样我们便可以根据每次新的观测值不断的更新参数的分布模型。形式上,解释如下:
假设模型:
我们有:
在给定分类分布的N个抽样集时,可以利用这种关系来估计它的参数。此时:
技术上,某些应用也可以采用:
最大后验估计
边缘似然:上述模型中,观测值的边缘似然是Dirichlet-multinomial分布
这里使用了欧拉积分:
边缘似然分布在分层贝叶斯模型中扮演着重要的角色,当使用Gibbs抽样或变分贝叶斯来做推断时,Dirichlet先验分布经常需要边缘化。
后验预测分布:在已知X和时,新观测值
的取值分布,形式如下:
结论:后验预测概率是后验分布的期望值。
从另一个角度来看:
新来数据会以较大的概率分配到以前出现次数较多的类中,这种情况可视作“偏好依附”模型。它与很多现实世界的过程相符,在模型下,起初少量数据点的选择对以后数据的分配将产生巨大的影响。
后验条件分布:在Gibbs抽样中,我们需要在多变量贝叶斯网络组成的条件分布(每一个变量都依赖于其他值)中进行抽样。
对于一个数据集X,用表示除去
的数据集,有:
这里,表示
中属于第i类的数据个数。
抽样过程:
//do multinomial sampling via cumulative method for (int k = 0; k < K; k++) { p[k]= (nw[w][k] + beta) / (nwsum[k] + Vbeta) *(nd[m][k]+ alpha) / (ndsum[m] + Kalpha); //1:得到属于每一类的概率 }//这就是ToTGibbs中的公式和text-est文件//cumulate multinomial parameters for (int k = 1; k < K; k++) { p[k]+= p[k - 1]; }//2:得到累计概率分布//scaled sample because of unnormalized p[] double u = ((double)random() / RAND_MAX) * p[K - 1];//3:采样均匀分布的值 for (topic = 0; topic < K; topic++) {if (p[topic] >u) {break; } }//4:返回类别
Multinomial分布
在概率理论中,Multinomial分布是二项式分布的推广。Multinomial分布给出了多类问题中,任意类别数组合的概率。
二项分布是n次伯努利分布中,两类组合发生次数的概率分布。
注意:在自然语言处理领域,categorical和multinomial分布是混为一谈的,当提到multinomial分布时实质意味着是categorical分布;当然,categorical也可以视为multinomial的特殊情况。
概率密度函数:假设袋子的球分为k类,我们做n次有放回抽样。来自同一类的球是完全一样的。我们用表示第i(i=1,…,k)类的球的次数。
表示属于第i类的概率。
属性:在n次实验中,类i的数学期望
协方差矩阵:每一个对角线元素实质是二项分布,因此
非对角线元素
所有的协方差都是负值,因为对于固定的数值n,多类中一类的增加势必导致另类的减少。
返回Dirichlet分布,其概率密度表达式:
其中,且
。上式中
表示概率密度公式是个
的欧式空间,在不满足条件的空间里密度为0.
多项beta函数可以用gama函数表示:
特殊情况:一种比价常见的形式是对称Dirichlet分布0,这里向量的所有元素取相同值。因为我们通常没有任何先验的知识来确定某个分量要优于其他分量,所以当使用Dirichlet先验时常使用其对称形式。此时的标量
称为concentration
parameter(浓度参数)。有:
当时,上式与
值无关等价于均匀分布。当
时,分布越趋于平稳,在一次抽样中的所有值都趋于相同;当
时,分布越趋于尖锐,在一次抽样中,大多数数值趋近于0,只有很少分量具有较大值。
更一般的情况,参数向量有时写成的形式,其中
为标量浓度参数,
是基测量(
的和为1)。主题模型的文献中经常使用这种构造。
属性:假设
由定义得:
令,则:
而且,如果有
边缘分布:Dirichlet分布的边缘分布是beta分布
聚合性质:如果
则
这个性质可以用来推导出上面提到的边缘分布。
相关分布:
1.对于
2.
2.
3.那么:
虽然之间并不是相互独立的,但他们可以通过K个独立的gamma分布得到,详见
Devroye, Luc (1986).Non-Uniform
Random Variate Generation. Springer-Verlag. p. 594.
(Chapter 11.)。
Gamma分布
使用Gamma分布,我们可以很容易地得到K维Dirichlet分布的抽样
。首先,从Gamma分布得到K个独立的随机抽样
。
然后得:
狄利克雷分布公式_Dirichlet分布及其属性相关推荐
- 狄利克雷分布公式_Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程)...
Dirichlet Distribution(狄利克雷分布)与Dirichlet Process(狄利克雷过程) Dirichlet Distribution(狄利克雷分布)与Dirichlet Pr ...
- 狄利克雷分布公式_Dirichlet Tree Distribution(狄利克雷树分布)
Dirichlet Tree Distribution(狄利克雷树分布) 标签:#Dirichlet##分布##统计基础# 时间:2017/02/06 21:17:00 作者:小木 这篇博客的主要内容 ...
- 狄利克雷分布公式_深入机器学习系列11-隐式狄利克雷分布
转载请注明出处,该文章的官方来源: LDA | Teaching ML 前言 LDA是一种概率主题模型:隐式狄利克雷分布(Latent Dirichlet Allocation,简称LDA).LDA是 ...
- 狄利克雷分布公式_一文详解隐含狄利克雷分布(LDA)
一.简介 隐含狄利克雷分布(LatentDirichletAllocation,简称LDA)是由DavidM.Blei.AndrewY.Ng.MichaelI.Jordan在2003年提出的,是一种词 ...
- 狄利克雷分布公式_潜在狄利克雷分配(LDA)
潜在狄利克雷分配(LDA) 潜在狄利克雷分配(LDA),作为基于贝叶斯学习的话题模型,是潜在语义分析.概率潜在语义分析的扩展,于2002年由Blei等提出.LDA在文本数据挖掘.图像处理.生物信息处理 ...
- 狄利克雷分布公式_二项分布 , 多项分布, 以及与之对应的beta分布和狄利克雷分布...
1. 二项分布与beta分布对应 2. 多项分布与狄利克雷分布对应 3. 二项分布是什么?n次bernuli试验服从 二项分布 二项分布是N次重复bernuli试验结果的分布. bernuli实验是什 ...
- Gamma分布,Beta分布,多项式分布,Dirichlet狄利克雷分布
如何通俗理解 beta 分布?(很好理解,beta就是二项式分布的先验分布) 所谓共轭先验就是先验分布是beta分布,而后验分布同样是beta分布. 超详细理解Gamma分布,Beta分布,多项式分布 ...
- 机器学习中的数学——常用概率分布(十一):狄利克雷分布(Dirichlet分布)
分类目录:<机器学习中的数学>总目录 相关文章: · 常用概率分布(一):伯努利分布(Bernoulli分布) · 常用概率分布(二):范畴分布(Multinoulli分布) · 常用概率 ...
- 推导Beta分布公式
Beta分布可以用于拟合各种不同的分布,网上各种资料对于Beta分布的原理着墨较多,却少有推导Beta分布公式的,所以,推导Beta分布公式如下: 设一组随机变量 ,将这n个随机变量排序后得到顺序统计 ...
最新文章
- mysql关联表插入-php环境中
- 【已解决】Linux远程桌面连接-VNC
- 【算法竞赛学习】二手车交易价格预测-Task2数据分析
- bootstrap学习笔记(一)网络系统
- (117)System Verilog类继承详解
- python逐行读取txt文件readline_Python - 无法读取整个.txt文件:.readlines错误?
- 计算机课程在线作业,计算机科学与技术作业答案
- 第十课:栈的表示与实现
- python零基础学难吗_零基础学习Python难吗?要怎么学Python才是最有效的?
- python实现登录抓取_Python网页抓取、模拟登录
- 个性化互联网时代,互联网营销
- python中print的本质_Python之路---函数进阶??
- python计算手机销量年增长率_Python对商店数据进行lstm和xgboost销售量时间序列建模预测分析...
- 【机器人学】机器人动力学参数辨识方法综述
- springboot 集成 fastdfs
- 罗永浩“吓尿”大会上,我裤子真湿了
- Javascript ES6集合(SET)类型✪ ω ✪
- 京东2020年Q2财报数据亮眼:超2000亿净收入背后供应链物流价值释放
- 计算机运维中常见英语单词,芯片常用英文词汇整理.doc
- QIIME 2 2020.8 版本更新学习