监督学习中判别式模型和生成式模型的区别 | 无监督学习的生成模型GAN、VAE（生成样本）
文章目录
- 一、监督学习中的判别式模型和生成式模型
- 1.1 判别式模型（线性回归、SVM、NN）
- 1.2 生成式模型（朴素贝叶斯、HMM）
- 1.3 两种模型的小结
- 二、无监督学习中的生成式模型（生成样本）
- 三、参考资料
一、监督学习中的判别式模型和生成式模型
有监督学习可以分为两类：判别模型和生成模型，我们所熟悉的神经网络，支持向量机和logistic regression，决策树等都是判别模型。而朴素贝叶斯和隐马尔可夫模型则属于生成式模型
1.1 判别式模型（线性回归、SVM、NN）
判别式模型由数据直接学习P(y∣x)P(y|x)P(y∣x)来预测yyy
1.2 生成式模型（朴素贝叶斯、HMM）
生成式模型先对联合概率P(x,y)P(x,y)P(x,y)建模（由数据学习联合概率分布P(x,y)P(x,y)P(x,y)），由此求得P(y∣x)P(y|x)P(y∣x)
以分类问题为例，我们会对每个类别建一个模型，有多少个类别，就建立多少个模型。
- 比如类别有猫、狗、猪，那我们会学出模型P(X, Y = 猫), P(X, Y = 狗), P(X, Y = 猪)，即得到联合概率P(X,Y)，对于一个新的样本X=忠诚，我们看一下三个模型哪个概率最高，例如P(X=忠诚, Y=狗)概率最大，我们就认为该样本属于狗这个类别。
生成式模型：P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}P(Y∣X)=P(X)P(X,Y) （贝叶斯公式）
典型的生成式模型有，朴素贝叶斯模型、隐马尔可夫模型（HMM）
为什么朴素贝叶斯是生成式模型？
我的笔记：朴素贝叶斯原理
因为朴素贝叶斯是这样计算的，P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)，它仍然是想办法算P(x,y)P(x,y)P(x,y)，只不过这个联合分布没法直接算，因为xix_ixi与yyy不独立，所以P(x1,x2,..xn,y)≠P(x1)P(x2)⋯P(y)P(x_1,x_2,..x_n,y)\neq P(x_1)P(x_2)\cdots P(y)P(x1,x2,..xn,y)=P(x1)P(x2)⋯P(y)。
为了解决联合分布没法算的问题，朴素贝叶斯先是利用贝叶斯定理对公式进行了转换P(Y∣X)=P(X,Y)P(X)=P(X∣Y)P(Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)=P(X)P(X∣Y)P(Y)，然后假设不同xix_ixi关于yyy条件独立，因此
P(Y∣X)=P(X,Y)P(X)=P(X∣Y)P(Y)P(X)=P(x1∣Y)P(x2∣Y)⋯P(xn∣Y)P(Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}=\frac{P(x1|Y)P(x2|Y)\cdots P(x_n|Y)P(Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)=P(X)P(X∣Y)P(Y)=P(X)P(x1∣Y)P(x2∣Y)⋯P(xn∣Y)P(Y)
此时所有的概率都是可以算的（用对应的频率替代）
1.3 两种模型的小结
本小节内容摘自知乎 Microstrong 的文章
不管是生成式模型还是判别式模型，它们最终的判断依据都是条件概率P(Y∣X)P(Y|X)P(Y∣X)，但是生成式模型先计算了联合概率P(X,Y)P(X,Y)P(X,Y)，再由贝叶斯公式计算得到条件概率。因此，生成式模型可以体现更多数据本身的分布信息，其普适性更广。
监督学习中判别式模型和生成式模型的区别 | 无监督学习的生成模型GAN、VAE（生成样本）相关推荐
- 机器学习集群_机器学习中的多合一集群技术在无监督学习中应该了解
机器学习集群 Clustering algorithms are a powerful technique for machine learning on unsupervised data. The ...
- 无监督学习与有监督学习的本质区别是什么_干货关于无监督学习你了解多少？...
最近小数在学习无监督学习的一些基础知识和应用场景,今天就跟大家分享一下. 无监督学习的概念术语是:推断描述"未标记"数据的分布与关系的机器学习任务,即给予学习算法的事例是未被标记的 ...
- 无监督学习与监督学习_有监督与无监督学习
无监督学习与监督学习 If we don't know what the objective of the machine learning algorithm is, we may fail to ...
- 监督学习和无监督学习是什么？
吴恩达课程机器学习笔记 文章目录 监督学习和无监督学习是什么? 监督学习 例子1.预测房价 例子2 .推测乳腺癌良性是否为良性 无监督学习--学习策略 无监督学习应用 监督学习和无监督学习是什么? 机 ...
- 图片生成模型——gated pixelCNN
google DeepMind团队在<pixel recurrent neural networks>中提出了pixelRNN/CNN之后又发表了一篇论文--<Conditional ...
- 一文搞懂ChatGPT相关概念和区别：GPT、大模型、AIGC、LLM、Transformer、羊驼、LangChain…..
ChatGPT横空出世后,伴随而来的是大量AI概念,这些概念互相之间既有联系也有区别,让人一脸懵逼,近期大鱼做了GPT相关概念的辨析,特此分享给你. 1)Transformer 2)GPT 3)Ins ...
- 【采用】无监督学习在反欺诈中的应用
一.反欺诈技术的发展历程 反欺诈技术的的发展经历了四个阶段,第一阶段黑名单.信誉库和设备指纹:第二阶段规则系统:第三阶段有监督的机器学习:第四阶段无监督的大数据欺诈检测.目前来说,前三种还是大家应用最 ...
- 【生成模型】关于无监督生成模型，你必须知道的基础
大家好,小米粥销声匿迹了很长一段时间,今天又杀回来啦!这次主要是介绍下生成模型的相关内容,尤其是除了GAN之外的其他生成模型,另外应部分读者要求,本系列内容增添了代码讲解,希望能使大家获益,更希望大家 ...
- NLP-分类模型-2016-文本分类：FastText【使用CBOW的模型结构；作用：①文本分类、②训练词向量、③词向量模型迁移（直接拿FastText官方已训练好的词向量来使用）】【基于子词训练】
<原始论文:Bag of Tricks for Efficient Text Classification> <原始论文:Enriching Word Vectors with Su ...
最新文章
- 存储引擎 K/V 分离下的index回写问题
- Android Studio2.2.3 通过JNI引用ffmpeg库小结
- 硬件加速会使电脑黑屏吗?
- LeetCode 918. 环形子数组的最大和（前缀和+单调队列）
- win8学习--------File
- 结构化思维：掌握这3点，分析报告不再愁
- mysql clomn_mysql 命令总结
- k邻近算法应用实例(一) 改进约会网站的配对效果
- 研磨设计模式--抽象工厂模式
- 威纶通触摸屏制作自定义弹出窗口的具体方法（3种）
- 顺序表构建学生信息管理系统（C++）
- Word打开目录导航、多页视图显示文章的方法
- 在没有中介平台比如Paypal/支付宝前提下，如何说服客户先付款？--猜疑链带来的思考
- 极坐标变换原理和用法
- pip install时报错超时（pip._vendor.requests.packages.urllib3.exceptions.ReadTimeoutError: HTTPSConnec）解决方案
- 操作系统---存储管理
- 什么是关联以及为什么要关联
- vue 强制刷新子组件
- HTML期末大作业~节日礼品购物商城网站html模板(HTML+CSS+JavaScript)
- 关于多副本和纠删码（二）--EC（纠删码）原理
热门文章