Dirichlet Process（狄利克雷过程）

Dirichlet Process

Dirichlet过程是一个常用于非参数模型的随机过程，对于随机过程的性质可以类比于Gauss过程。它是一个定义在分布上的分布，也就是说每一个Dirichlet过程的样本都是一个分布。从Dirichlet过程中抽样的分布是离散的，但是不能用有限个参数表示这样的过程，因为在每个点（无穷维）都可以定义采样点，因此这是一个非参数的模型。

我们考虑下面这样一个hierarchical的模型：

一个Dirichlet distribution是定义在K维的单纯形上面的分布：

我们说具有以下密度函数形式的称为Dirichlet 分布:
p(y1,…,yk)=Γ(∑k=1Kαk)∏k=1KΓαk∏k=1Kykαk−1p(y_1,\dots,y_k) = \frac{\Gamma(\sum_{k=1}^K\alpha_k)}{\prod_{k=1}^{K}\Gamma\alpha_k}\prod_{k=1}^{K} y_k^{\alpha_k-1} p(y1,…,yk)=∏k=1KΓαkΓ(∑k=1Kαk)k=1∏Kykαk−1

Dirichlet 分布的性质

1.可加性：

若有：
(π1,…,πk)∼Dirichlet(α1,…,αk)则(π1+π2,π3,…,πk)∼Dirichlet(α1+α2,…,αk)(\pi_1, \dots, \pi_k) \sim Dirichlet(\alpha_1, \dots, \alpha_k)\\ 则(\pi_1+\pi_2, \pi_3,\dots,\pi_k) \sim Dirichlet(\alpha_1+\alpha_2,\dots, \alpha_k) (π1,…,πk)∼Dirichlet(α1,…,αk)则(π1+π2,π3,…,πk)∼Dirichlet(α1+α2,…,αk)
2.累乘性质：
若有(π1,…,πk)∼Dirichlet(α1,…,αk)(τ1,τ2)∼Dirichlet(α1β1,α1β2)其中β1+β2=1则(π1τ1,π1τ2,π2,…,πk)∼Dirichlet(α1β1,α1β2,…,αk)若有(\pi_1, \dots, \pi_k) \sim Dirichlet(\alpha_1, \dots, \alpha_k)\\ (\tau_1, \tau_2)\sim Dirichlet(\alpha_1\beta_1, \alpha_1\beta_2)\\ 其中\beta_1+\beta_2 = 1\\ 则(\pi_1\tau_1, \pi_1\tau_2, \pi_2,\dots,\pi_k)\sim Dirichlet(\alpha_1\beta_1, \alpha_1\beta_2,\dots,\alpha_k) 若有(π1,…,πk)∼Dirichlet(α1,…,αk)(τ1,τ2)∼Dirichlet(α1β1,α1β2)其中β1+β2=1则(π1τ1,π1τ2,π2,…,πk)∼Dirichlet(α1β1,α1β2,…,αk)
那么Dirichlet Process可以看成无穷维度的Dirchlet分布：

Dirichlet process

狄利克雷过程是定义在分布（概率测度）上的分布,对于任意base distribution H的有限划分，有
(F(A1),…,F(Ar))∼D(αH(A1),…,αH(Ar))(F(A_1),\dots,F(A_r))\sim \mathcal{D}(\alpha H(A_1),\dots,\alpha H(A_r)) (F(A1),…,F(Ar))∼D(αH(A1),…,αH(Ar))
其中D\mathcal{D}D是Dirichlet 分布。

E(F(Ai))=αH(Ai)αH(Ai)+α∑i≠jH(Aj)=H(Ai)Var(F(Ai))=α2H(Ai)∑i≠jH(Aj)[αH(Aj)+α∑i≠jH(Aj)]2(α+1)=H(Ai)(1−H(Ai))α+1E(F(A_i))=\frac{\alpha H(A_i)}{\alpha H(A_i) + \alpha \sum_{i \neq j} H(A_j)} = H(A_i)\\ Var(F(A_i))=\frac{\alpha^2 H(A_i) \sum_{i \neq j} H(A_j)}{[\alpha H(A_j) + \alpha \sum_{i \neq j} H(A_j)]^2 (\alpha +1)}=\frac{ H(A_i) (1-H(A_i))}{\alpha +1} E(F(Ai))=αH(Ai)+α∑i=jH(Aj)αH(Ai)=H(Ai)Var(F(Ai))=[αH(Aj)+α∑i=jH(Aj)]2(α+1)α2H(Ai)∑i=jH(Aj)=α+1H(Ai)(1−H(Ai))
注意到Dirichlet是离散的分布，分布函数是一个阶梯函数。

Dirichlet 后验

假设我们从Dirichlet过程F中采样出来了θ1,...θn\theta_1, ...\theta_nθ1,...θn,根据bayes公式我们可以算得后验分布：
(F(A1),…,F(Ar)∣θ1,…,θn)∼D(αH(A1)+n1,…,αH(Ar)+nr)(G∣θ1,…,θn)∼DP(a+n,αH+∑i=1nδiα+n)=DP(α+n,αα+nH+nα+n∑i=1nδin)(F(A_1),\dots,F(A_r)|\theta_1, \dots,\theta_n)\sim \mathcal{D}(\alpha H(A_1)+n_1,\dots,\alpha H(A_r)+n_r)\\ (G|\theta_1, \dots,\theta_n)\sim DP(a+n,\frac{\alpha H + \sum_{i=1}^n \delta_i}{\alpha +n})=DP(\alpha+n,\frac{\alpha }{\alpha+n} H +\frac{n}{\alpha+n}\frac{\sum_{i=1}^n \delta_i}{n}) (F(A1),…,F(Ar)∣θ1,…,θn)∼D(αH(A1)+n1,…,αH(Ar)+nr)(G∣θ1,…,θn)∼DP(a+n,α+nαH+∑i=1nδi)=DP(α+n,α+nαH+α+nnn∑i=1nδi)
注意到后验分布的基分布是关于原来先验的基分布H和经验分布∑i=1nδθi/n\sum_{i=1}^n\delta_{\theta_i}/n∑i=1nδθi/n的加权分布。

生成Dirichlet Process

Blackwell-MacQueen Urn Scheme

生成过程：

每一个Θ\mathbb{\Theta}Θ中的值都对应一个独立的颜色，从θ∼G\theta \sim Gθ∼G取球的颜色，我们有一个缸来装球。最开始缸里没有球，我们从分布H中取颜色，用这个颜色涂一个球，放入缸中。在接下来的步骤中(n+1步)，我们要么以概率αα+n\frac{\alpha}{\alpha+n}α+nα选个新的颜色，用这个颜色涂一个球放进缸里，要么以概率nα+n\frac{n}{\alpha+n}α+nn从缸里取一个球，用这个球的颜色涂一个新的球，再把两个球一起放进去。

Stick-breaking 生成

考虑一根长度为1的棍子，我们在β1\beta_1β1点处掰开，该段的概率π1=β1\pi_1=\beta_1π1=β1等于刚刚掰掉那段的长度，以此类推。具体的参考下面的slides：

参考网址：

1.Dirichlet Process tutorial(pdf)

2.Dirichlet Processes: Tutorial and Practical Course

3.Bayesian Nonparametrics

4.Introduction to the Dirichlet Distribution and Related Processes