机器学习笔记--GMM模型
1. 高斯分布的一些结论：
利用似然估计对一组符合高斯分布的数据进行分析，得到其均值的估计就是样本的均值，方差的估计就是样本方差。
具体推导如下
高斯分布的概率密度函数为
，
对一组符合高斯分布的样本进行似然估计，将样本代入概率密度函数，有目标函数
转换成对数似然
分别对均值和方差求导，可以得到
高斯混合模型是由多个高斯模型混合。其目标函数
这表明一个样本多个不同比重的高斯分布混合形成的，每个高斯分布对样本的贡献，可以这样做
这其实就是样本属于某一个高斯分布的概率。
所以高斯混合模型的参数估计可以分成两步做
第一步是先验的给出均值和方差，还要先验的给出每个高斯分布出现的概率。然后计算每一个样本属于某个高斯分布的概率，这是可以求得，因为我们先验的给出了每一个高斯分布的均值和方差，只要把样本值代进上式，就能计算出该样本属于每一个高斯分布的概率。
第二步是根据样本更新参数。
此处详见李航-统计学习方法165页
对于混合高斯模型，举个简单的例子。对于10000个男女生样本，他们的身高都服从高斯分布，也就是男生的身高服从一个高斯分布，女生的身高服从一个高斯分布。估计这两个高斯分布的均值和方差。
第一步，先验的给出女生和男生样本的概率和女生身高所服从的高斯分布的均值和方差，男生身高所服从的高斯分布的均值和方差。然后对于每一个样本，计算属于男生的概率和属于女生的概率。这样我们可以算出所有样本的概率。
第二步，用样本值分别乘上该样本属于男生和女生的概率，这样一个样本可以得到两个值，分别代表了属于男生和属于女生。然后用所有样本的属于男生的那部分作为新的样本集估计男生的概率密度分布的均值和方差，用所有样本的属于女生的那部分作为新的样本集估计女生的概率密度分布的均值和方差。但是要注意的一点是
在计算均值是n并不是1000，而应该是所有样本的那些属于男生的概率之和，记为N男。而N男/10000，就是新的男生出现的概率。女生同理。
这样得到的均值和方差就带有了样本的一些信息，比之前先验的给出更加的符合样本。
机器学习笔记--GMM模型相关推荐
- 【机器学习】GMM模型的直观推导（含中间步骤）
概率论和数理统计是一对兄弟:概率论负责在已知分布函数的情况下研究样本:数理统计负责在已知样本的情况下,反推分布函数的特性.假设我们获取了样本数据,同时知道分布函数的大概形式,只是不知道分布函数的参数, ...
- 机器学习笔记(二)模型评估与选择
2.模型评估与选择 2.1经验误差和过拟合 不同学习算法及其不同参数产生的不同模型,涉及到模型选择的问题,关系到两个指标性,就是经验误差和过拟合. 1)经验误差 错误率(errorrate):分类错误 ...
- 机器学习笔记之——模型评估与改进之评估指标与评分
评估指标与评分 到目前为止,我们使用精度(正确分类的样本所占的比例)来评估分类性能,使用 R2 来评估回归性能.但是,总结监督模型在给定数据集上的表现有多种方法,这两个指标只是其中两种.在实践中,这些 ...
- 【机器学习笔记】 模型评估：查准率、查全率和F1
前言 错误率与精度经常用来衡量一个模型的好坏,但这两项指标并不能满足所有的需求.以西瓜书中的例子来说,农夫拉来一车西瓜,错误率可以衡量出有多少比例的瓜被判别错误,而我们关心的是好瓜,或说好瓜中有多少比 ...
- 机器学习笔记三—卷积神经网络与循环神经网络
系列文章目录 机器学习笔记一-机器学习基本知识 机器学习笔记二-梯度下降和反向传播 机器学习笔记三-卷积神经网络与循环神经网络 机器学习笔记四-机器学习可解释性 机器学习笔记五-机器学习攻击与防御 机 ...
- EM 算法与 GMM 模型
EM算法与GMM模型 – 潘登同学的Machine Learning笔记 文章目录 EM算法与GMM模型 -- 潘登同学的Machine Learning笔记 GMM模型 单高斯模型 GM的参数估计( ...
- 【机器学习笔记11】高斯混合模型（GMM）【上篇】原理与推导
文章目录 推荐阅读 前言 高斯混合模型简介 GMM与K-mean 高斯混合模型的概率密度函数 几何角度 混合模型角度 可能会弄混的地方 隐变量的分布与隐变量的后验概率分布 极大似然估计 EM算法求近似 ...
- 机器学习笔记之高斯混合模型(一)模型介绍
机器学习笔记之高斯混合模型--模型介绍 引言 高斯混合模型介绍 示例介绍 从几何角度观察高斯混合模型 从混合模型的角度观察 概率混合模型的引出 从概率生成模型的角度观察高斯混合模型 引言 上一系列介绍 ...
- 机器学习笔记之概率图模型(四)基于贝叶斯网络的模型概述
机器学习笔记之概率图模型--基于贝叶斯网络的模型概述 引言 基于贝叶斯网络的模型 场景构建 朴素贝叶斯分类器 混合模型 基于时间变化的模型 特征是连续型随机变量的贝叶斯网络 动态概率图模型 总结 引言 ...
最新文章
- 如何使用Leangoo看板统计中的任务分布？
- python 3 最佳python中文书籍下载
- Windows Updateエラー 80072EE2
- Apollo 11登月代码成Github热度第一：14.5万行，获星3.3万
- java {@link},Javadoc @see或{@link}？
- 【BLE MIDI】推荐一个 Android 平台开源 MIDI 软件 MidiSheetMusic ( 相关资料 | Android Studio 中导入 Eclipse 源码 )
- iOS 10 消息推送（UserNotifications）秘籍总结（二）
- bfs+优先队列（hdu1242）
- #和##在宏替换中的作用
- linux-权限更改-符号更改法-rwx
- Docker 简介 安装
- 滨州学院计算机自荐考试题型,滨州学院期末考试试卷标准样式.doc
- 联想电脑锁屏界面设置被组织隐藏_Word Clock数字时钟动态屏保，让你的电脑锁屏瞬间科技感十足！...
- iOS NSUserDefaults 存放位置
- SQL数据库安装-数据库的下载
- Winform调用风云二号卫星云图（更改后版本）
- 软件测试——selenium环境搭建及自动化测试
- 从Soul APP 看社交升级新玩法
- c语言里的pow函数（好理解，易懂）
- 关于高阻态和OOC（out of context）综合方式