本篇博文总结最近学习到的生成式模型与判别式模型的知识。

1. 简介

就像之前在总结分类和聚类时说的一样，机器学习基本在做的事情就是在分类、打标签，我们的模型也就像一个个分类机器（个人看法，欢迎指正）。而这么多的模型，可以分为两类：生成式模型与判别式模型。

对于一个分类器，当我们丢进去 x 以后，那么我们到底该如何决定它该分到哪一个标签呢，也就是它抛出的 y 会是多少呢？很自然地，我们会想到使条件概率 p(y|x) 最大的 y 是我们的理想值。说到这里，我们就可以接着简单介绍生成式模型和判别式模型了

判别式模型：按名字，并不严谨地，我们可以理解为它直接判别 y 到底应该为多少。它直接对后验概率 p(y|x) 建模，然后求使得 p(y|x) 最大的 y，从而得到 y 的估计值。

生成式模型：按名字，同样并不严谨地，我们可以理解为它是‘生成’一个分布。因为他是对联合分布 p(x,y) 进行建模处理的。那么生成式模型如何判别到底 y 为多少呢？它是通过对 p(x,y) 运用贝叶斯公式得到 p(y|x) ，然后再求使得 p(y|x) 最大的 y ，从而得到 y 的估计值。具体的公式为：

$y^* = \arg\max _{y_i} p(y_i|x)\\ = \arg\max _{y_i} \frac{p(x|y_i)p(y_i)}{p(x)} \\ = \arg\max _{y_i}p(x|y_i)p(y_i) = \arg\max _{y_i}p(x,y_i)$

从上面的介绍也可以发现，从生成式模型可以推出判别式模型，但从判别式模型却不能推出生成式模型（二者联系）。

也有这么说二者的：判别式模型只形成一个模型，输入 x ，就根据 p(y|x) 的值返回标签；生成式模型则同时形成多个模型，一个类别形成一个模型，然后再每个模型中计算 p(y|x) ，比较后判定 y 的值

2. 常见的生成式模型与判别式模型

生成式模型	判别式模型
1.判别式分析 2.朴素贝叶斯 3.K近邻(KNN) 4.混合高斯模型 5.隐马尔科夫模型(HMM) 6.贝叶斯网络 7.Sigmoid Belief Networks 8.马尔科夫随机场(Markov Random Fields) 9.深度信念网络(DBN)	1.线性回归(Linear Regression) 2.逻辑斯蒂回归(Logistic Regression) 3.神经网络(NN) 4.支持向量机(SVM) 5.高斯过程(Gaussian Process) 6.条件随机场(CRF) 7.CART(Classification and Regression Tree)

生成式模型

判别式模型

1.判别式分析

2.朴素贝叶斯

3.K近邻(KNN)

4.混合高斯模型

5.隐马尔科夫模型(HMM)

6.贝叶斯网络

7.Sigmoid Belief Networks

8.马尔科夫随机场(Markov Random Fields)

9.深度信念网络(DBN)

1.线性回归(Linear Regression)

2.逻辑斯蒂回归(Logistic Regression)

3.神经网络(NN)

4.支持向量机(SVM)

5.高斯过程(Gaussian Process)

6.条件随机场(CRF)

7.CART(Classification and Regression Tree)

3. 生成式模型与判别式模型的比较

	优点	缺点
生成式模型	对数据量要求低，少量样本也可以做（在假设条件成立时）易于收敛、拟合可以处理无标签数据支持增量学习。添加新的类别后，不需要全部重新训练，只训练 $p(y_{new},x)$ 的分布就行。可以生成 x	错误率高一般对数据分布有假设，这些假设在实际应用通常很难满足更易于对x本身进行建模，很难对x的某种变换建模学习和计算过程很复杂
判别式模型	错误率低可以对x的某种变换进行建模处理对数据本身的分布没有限制分类边界更加灵活	不能反映训练数据本身的特性变量之间的关系不清楚，不可视拟合较生成式模型差

参考链接：

【1】判别式模型 vs. 生成式模型

机器学习小问题 -- 生成式模型与判别式模型相关推荐

【机器学习】生成式模型和判别式模型
在机器学习中,对于有监督学习可以将其分为两类模型:判别式模型和生成式模型.判别式模型是针对条件分布建模,而生成式模型则针对联合分布进行建模. 1.抛砖引玉假设有训练数据(X,Y),X是属性集合,Y是 ...
机器学习中的生成式模型VS判别式模型，分类，特点
机器学习中的生成式模型VS判别式模型,分类,特点提示: 本文将从生成式模型与判别式模型的概念, 适用环境具体模型三个方面分析比较这两个模型, 并在最后对列出模型范例,进行范例比较. 基础知识: ...
机器学习之生成式模型 VS 判别式模型
[摘要] 判别式模型,就是只有一个模型,你把测试用例往里面一丢,label就出来了,如SVM.生成式模型,有多个模型(一般有多少类就有多少个),你得把测试用例分别丢到各个模型里面,最后比较其结果,选择 ...
机器学习：生成式模型和判别式模型
决策函数Y=f(X)与条件概率分布P(Y|X) 决策函数Y=f(x):输入一个x,它就输出一个y值,这个y与一个阈值比较,根据比较结果判定x属于哪个类别. 条件概率分布P(y|x):输入一个x,它通过 ...
生成式模型 vs 判别式模型
点击上方"Datawhale",选择"星标"公众号第一时间获取价值内容生成式模型和判别式模型的概念是机器学习领域非常重要的基础知识,但能准确区分开二者并不是 ...
生成式模型、判别式模型的区别？
生成式模型.判别式模型的区别? 对于机器学习模型,我们可以根据模型对数据的建模方式将模型分为两大类,生成式模型和判别式模型.如果我们要训练一个关于猫狗分类的模型, 对于判别式模型,只需要学习二者差 ...
生成式模型与判别式模型
生成式模型与判别式模型的区别生成式模型(Generative Model)与判别式模型(Discriminative Model)是分类器常遇到的问题对于判别式模型来说求得P(Y|X),对未见示例 ...
生成式模型和判别式模型（通俗易懂）
原文链接:https://blog.csdn.net/qq_14997473/article/details/85219353 决策函数Y=f(X)与条件概率分布P(Y|X) 决策函数Y=f(x):输 ...
NLP --- 产生式模型VS判别式模型
上一节我们介绍了概率图模型,这将在隐马尔可夫和条件随机场使用到,还会使用到的另外一个概念就是产生式模型和判别式模型,那么什么是产生式模型,什么是判别式模型呢?下面我们详细介绍这两种模型的区别. 他们的 ...

机器学习小问题 -- 生成式模型与判别式模型

1. 简介

2. 常见的生成式模型与判别式模型

3. 生成式模型与判别式模型的比较

机器学习小问题 -- 生成式模型与判别式模型相关推荐

最新文章

热门文章