十大机器学习算法（五）——无监督聚类算法 EM 聚类算法（以及GMM）

无监督聚类学习 EM

主要流程：初始化参数 —>> 观察预期结果 —>> 存在误差？重新估计参数

极大似然估计

最大似然估计是假设在总体满足某种分布的情况下求解满足似然函数（概率密度函数乘积）的最大值的参数。

目的：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

原理：“模型已定，参数未知” 情况下，通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

前提条件：

样本独立同分布否则无法用概率密度函数乘积的形式
假设的分布与真实的分布要一致，否则会南辕北辙。如果对总体分布一无所知是无法使用MLE的。
在样本量足够大时，可以使用样本分布来近似总体分布。

已知样本集 D = { x 1 , x 2 , ⋯ , x N } D = \{x_1, x_2,\cdots,x_N\} D={x1,x2,⋯,xN}，则其似然函数形式为：
L ( θ ) = p ( D ∣ θ ) = p ( x 1 , x 2 , ⋯ , x N θ ) = ∏ i = 1 N p ( x i ∣ θ ) L(\theta) = p(D|\theta) = p(x_1, x_2,\cdots,x_N\ \theta) = \prod^{N}_{i=1}p(x_i|\theta) L(θ)=p(D∣θ)=p(x1,x2,⋯,xN θ)=i=1∏Np(xi∣θ)
求解满足 L ( θ ) L(\theta) L(θ)最大值时的 θ ^ \hat{\theta} θ^：
θ ^ = a r g m a x θ L ( θ ) \hat{\theta} = \underset{\theta}{argmax}L(\theta) θ^=θargmaxL(θ)
求解过程自然就是 x x x服从什么分布，就用什么概率密度函数求解其概率，求解 L ( θ ) L(\theta) L(θ)最大值时，使用对数化转为线性更容易求解。
推导可以看这篇文章https://blog.csdn.net/zengxiantao1994/article/details/72787849/

EM聚类算法

EM聚类算法与似然估计的思想一致，最大似然估计一次性找到最大可能性的参数，但对机器来说，根据实验结果，不断迭代以使模型参数不再变化为止。

主要步骤：初始化参数、观察预期、重新估计。

假设有如下问题：
有A和B两枚硬币，我们做了5组实验，每组实验投掷10次，然后统计出现正面的次数（投掷硬币时，我们不知道投掷的硬币是A还是B）（二项分布）。

实验	正面次数
1	2
2	8
3	6
4	7
5	3

求每次实验的硬币是 A 还是 B 。
假设我们知道先验分布：

实验	硬币	正面次数
1	A	5
2	B	7
3	B	8
4	B	9
5	A	4

思想：通过对先验分布拟合，找到最适合的模型估计，然后去预测。
step1，初始化参数：每次伯努利实验， p ( 正 ∣ A ) p(正|A) p(正∣A) = 0.5， p ( 正 ∣ B ) p(正|B) p(正∣B) = 0.9。
step2，使用初始化参数，估计先验分布实验1，A,B正面次数为5的概率，

p A ( 10 , 0.5 ) = C 10 5 0. 5 5 0. 5 5 = 0.246 p_A(10,0.5) = C_{10}^50.5^50.5^5 = 0.246 pA(10,0.5)=C1050.550.55=0.246
p B ( 10 , 0.9 ) = C 10 5 0. 9 5 0. 1 5 = 0.0015 p_B(10,0.9) = C_{10}^50.9^50.1^5 = 0.0015 pB(10,0.9)=C1050.950.15=0.0015

所以预估实验 1 的硬币为A。
重复上述步骤，拟合完成五个实验，得到结果：{A, A, B, B, A}。

step3，由于与结果存在不同，需要改进，重复上述步骤，改变 p ( 正 ∣ A ) p(正|A) p(正∣A)， p ( 正 ∣ B ) p(正|B) p(正∣B) 的值，知道不发生变化为止。

混合高斯模型（GMM）

混合高斯模型是指使用多个单高斯模型，通过加权得到一个混合的模型。

模型思想：任何一个曲线，无论多么复杂，都可以用若干个高斯曲线来无限逼近它。

假设混合高斯模型由K个高斯模型组成（即K个类），则GMM的概率密度函数为：

p ( x ) = ∑ i = 1 k p ( x ∈ k ) N k ( x ∣ μ k , σ k 2 ) ， ∑ i = 1 k p ( x ∈ k ) = 1 p(x) = \sum^k_{i=1}p(x\in k)N_k(x|\mu_k,\sigma^2_k)，\sum^k_{i=1}p(x\in k) = 1 p(x)=i=1∑kp(x∈k)Nk(x∣μk,σk2)，i=1∑kp(x∈k)=1

模型存在三个三个参数
step1，固定 μ , σ \mu, \sigma μ,σ（初始化），求 p ( x ∈ k ) p(x\in k) p(x∈k)的所有概率，并标准化为： ∑ i = 1 k p ( x ∈ k ) = 1 \sum^k_{i=1}p(x\in k) = 1 ∑i=1kp(x∈k)=1。

step2，哪个 p ( x ∈ k ) p(x\in k) p(x∈k)大， x x x属于哪一个类，每一类的数据点确定后，即可得到这一个类的单高斯分布参数 μ , σ \mu, \sigma μ,σ 。

重复上述过程，即可得到最终的聚类结果。

上述图片来源：https://zhuanlan.zhihu.com/p/30483076

工具

GMM工具：
from sklearn.mixture import GaussianMixture
GaussianMixture(n_components=1, covariance_type="full")
n_components：聚类个数，缺省值为1
covariance_type：协方差类型，一共4种，默认为full
covariance_type="full",完全协方差矩阵（元素都不为零）
covariance_type="tied",相同的完全协方差矩阵（HMM会用到）
covariance_type="diag",对角协方差矩阵（非对角为零，对角不为零）
covariance_type="spherical",球面协方差矩阵（非对角为零，对角完全相同，球面特性）