【机器学习课程-华盛顿大学】：4 聚类和检索 4.4 MoG混合高斯模型和EM估计最大化

1、k-means缺点

聚类的不确定性：有些模糊地带

因为是求点到中心的距离，所以k-means针对的是圆形的形状

但是对如下这些形状，做不到聚类：

2、提出基于概率的聚类模型

优点：

（1）软分配，给出各个类的概率，而不是像k-means一样硬分配

（2）考虑聚类的形状

（3）考虑数据权重

3、高斯分布

正态分布，又叫高斯分布。基本格式为：

每一幅彩色图像都可以看做RGB3种色彩下的高斯分布的叠加。

（1）1维高斯分布

（2）二维高斯分布

看下不同协方差下，高斯模型的形状：

4、高斯混合模型

5、文档聚类

6、用EM期望最大化来解决软分配问题

中间绿色是渐变色，是两类的过渡。

6.1 如果我们知道cluster参数

或者，根据贝叶斯求rik

如果已知参数，概率rik很好求，但是这些参数我们是不知道的。

6.2 假如我们已经知道聚类的分布zi，怎么求聚类高斯模型的参数

我们可以用MLE最大概率估计来求聚类的参数。但一开始聚类的分布zi，我们也是不知道的。

6.3 如果我们只有软分布rij，我们能做什么？

用MLE最大似然估计来求

7、EM

一开始先随机高斯分布的参数，然后不断迭代步骤1和2，直到算法收敛。

（1）

（2）

（3）

（4）

EM算法是一种坐标下降算法

8、MoG与k-means关系

9、测试

正确答案：最后一个，10个cluster

1、2、3、4、5不对

1、2、3不对

1、2、3、4不对

1、2、3、5不对

（3）和（4）

【机器学习课程-华盛顿大学】：4 聚类和检索 4.4 MoG混合高斯模型和EM估计最大化相关推荐

【机器学习课程-华盛顿大学】：4 聚类和检索 4.4 MoG混合高斯模型编程测试
1 k-means和MoG都容易出现局部最优解 2.公式: 3.自己实现EM算法 (1)主函数: def EM(data, init_means, init_covariances, init_wei ...
聚类(1)——混合高斯模型 Gaussian Mixture Model
聚类系列: 聚类(序)----监督学习与无监督学习聚类(1)----混合高斯模型 Gaussian Mixture Model 聚类(2)----层次聚类 Hierarchical Clusteri ...
机器学习——概率分类(三)高斯概率密度与混合高斯模型
机器学习--概率分类(三)高斯概率密度与混合高斯模型在之前的文章机器学习--概率分类(一)朴素贝叶斯模型一文中,我们主要介绍了机器学习中的概率分类问题.我们提出了简单的朴素贝叶斯模型来进行概率密度的 ...
混合高斯模型_大数据小白入门高斯混合模型(GMM)聚类算法
导读高斯混合模型(Gaussian Mixture Model)通常简称GMM,是一种业界广泛使用的聚类算法,属于生成式模型,它假设所有的数据样本都是由某一个给定参数的多元高斯分布所生成的.从中 ...
斯坦福大学公开课：机器学习课程（Andrew Ng）——1、整体看一看
============================================================================[课程综述]================== ...
机器学习关键的几门课程_互联网上每门机器学习课程，均按您的评论排名
机器学习关键的几门课程 by David Venturi 大卫·文图里(David Venturi) 互联网上每门机器学习课程,均按您的评论排名 (Every single Machine Learn ...
机器学习总结——机器学习课程笔记整理
机器学习笔记整理说明基础点整理 1. 基础数学知识 (1) 一些零七八碎的基础知识 (2) 最优化相关问题 (3) 概率论相关问题 (4) 矩阵相关问题 2. 回归(线性回归.Logistic回归 ...
机器学习实战-61:K均值聚类算法(K-Means)
K均值聚类算法(K-Means) 深度学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 机器学习分为监督学习.无监督学习和半监督学习(强化学习).无监督学习最常应用的场景是聚类(clust ...
华盛顿大学《生成模型》2020秋季课程完结，课件、讲义全部放出
来源:机器之心本文约1000字,建议阅读5分钟. 这门课聚焦生成建模技术的理论和数学基础,探讨多种生成模型技术. 在概率统计理论中,生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的 ...

【机器学习课程-华盛顿大学】：4 聚类和检索 4.4 MoG混合高斯模型和EM估计最大化

【机器学习课程-华盛顿大学】：4 聚类和检索 4.4 MoG混合高斯模型和EM估计最大化相关推荐

最新文章

热门文章