判别式模型和生成式模型的区别

其实机器学习的任务是从属性X预测标记Y，即求概率P(Y|X)。

判别式模型
对于判别式模型来说求得P(Y|X)，对未见示例X，根据P(Y|X)可以求得标记Y，即可以直接判别出来，如上图的左边所示，实际是就是直接得到了判别边界，所以传统的、耳熟能详的机器学习算法如线性回归模型、支持向量机SVM等都是判别式模型，这些模型的特点都是输入属性X可以直接得到Y（对于二分类任务来说，实际得到一个score，当score大于threshold时则为正类，否则为反类）~（根本原因个人认为是对于某示例X_1，对正例和反例的标记的条件概率之和等于1，即P(Y_1|X_1)+P(Y_2|X_1)=1）。

生成式模型
而生成式模型求得P(Y,X)，对于未见示例X，你要求出X与不同标记之间的联合概率分布，然后大的获胜，如上图右边所示，并没有什么边界存在，对于未见示例（红三角），求两个联合概率分布（有两个类），比较一下，取那个大的。机器学习中朴素贝叶斯模型、隐马尔可夫模型HMM等都是生成式模型，熟悉Naive Bayes的都知道，对于输入X，需要求出好几个联合概率，然后较大的那个就是预测结果~（根本原因个人认为是对于某示例X_1，对正例和反例的标记的联合概率不等于1，即P(Y_1,X_1)+P(Y_2,X_1)<1，要遍历所有的X和Y的联合概率求和，即∑(P(X,Y))=1\sum(P(X,Y))=1∑(P(X,Y))=1。

举个例子

判别式模型举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。生成式模型举例：利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率是多少，在放到绵羊模型中看概率是多少，哪个大就是哪个。细细品味上面的例子，判别式模型是根据一只羊的特征可以直接给出这只羊的概率（比如logistic regression，这概率大于0.5时则为正例，否则为反例），而生成式模型是要都试一试，最大的概率的那个就是最后结果~补充20180524：在机器学习中任务是从属性X预测标记Y，判别模型求的是P(Y|X)，即后验概率；而生成模型最后求的是P(X,Y)，即联合概率。

从本质上来说
判别模型之所以称为“判别”模型，是因为其根据X“判别”Y；
而生成模型之所以称为“生成”模型，是因为其预测的根据是联合概率P(X,Y)，而联合概率可以理解为“生成”(X,Y)样本的概率分布（或称为依据）。
具体来说，机器学习已知X，从Y的候选集合中选出一个来，可能的样本有(X,Y1),(X,Y2),(X,Y3),……，(X,Yn)(X,Y_1), (X,Y_2), (X,Y_3),……，(X,Y_n)(X,Y1),(X,Y2),(X,Y3),……，(X,Yn),实际数据是如何“生成”的依赖于P(X,Y)，那么最后的预测结果选哪一个Y呢？那就选“生成”概率最大的那个吧~

判别式模型和生成式模型的区别相关推荐

判别式模型和生成式模型的区别（discriminative model and generative model）
判别式模型和生成式模型的区别(discriminative model and generative model) 本博客转载自: http://blog.csdn.net/amblue/articl ...
监督学习中判别式模型和生成式模型的区别 | 无监督学习的生成模型GAN、VAE（生成样本）
文章目录一.监督学习中的判别式模型和生成式模型 1.1 判别式模型(线性回归.SVM.NN) 1.2 生成式模型(朴素贝叶斯.HMM) 1.3 两种模型的小结二.无监督学习中的生成式模型(生成样本 ...
机器学习中的判别式模型和生成式模型
首发于人工智能写文章机器学习中的判别式模型和生成式模型 Microstrong 微信公众号:Microstrong,人工智能算法工程师已关注 78 人赞同了该文章目录: 基本概念用例子说明概 ...
【机器学习】：判别式模型与生成式模型
目录问题引出基本概念举个例子优缺点模型实例参考文献问题引出来源:牛客网以下几种模型方法属于判别式模型(Discriminative Model)的有() 1)混合高斯模型 2)条件随 ...
谈谈判别式模型与生成式模型
判别式模型与生成式模型是机器学习领域中的基本概念,今天将两者的特点总结一下,如下表所示: 对比判别式模型生成式模型特点寻找不同类别之间的最优分类面,反映异类数据之间的差异以统计的角度表示数据 ...
机器学习--判别式模型与生成式模型
原文地址为:机器学习--判别式模型与生成式模型一.引言本材料参考Andrew Ng大神的机器学习课程 http://cs229.stanford.edu 在上一篇有监督学习回归模型中,我们利用训练 ...
BAT面试题9：谈谈判别式模型和生成式模型？
BAT面试题9:谈谈判别式模型和生成式模型? https://mp.weixin.qq.com/s/X7zWJCMN7gbCwqskIIpLcw 判别方法:由数据直接学习决策函数 Y = f(X),或 ...
【机器学习】判别式模型和生成式模型
问题判别式模型和生成式模型是机器学习中很重要的两个概念,也是笔试面试中很可能出现的问题,这里整理一遍是为了让自己更好地理解和区分这两者之间的不同. 概念假设可观测到的变量集合为X,其他变量集合为Z ...
判别式模型和生成式模型分别是什么？判别式模型和生成式模型的优缺点？
判别式模型和生成式模型分别是什么?判别式模型和生成式模型的优缺点? 目录判别式模型和生成式模型分别是什么?判别式模型和生成式模型的优缺点? 判别式模型和生成式模型分别是什么?

判别式模型和生成式模型的区别

判别式模型和生成式模型的区别相关推荐

最新文章

热门文章