生成模型 VS 判别模型 (含义、区别、对应经典算法)
从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi。
生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布。能够学习到数据生成的机制。
判别模型:学习得到条件概率分布P(y|x),即在特征x出现的情况下标记y出现的概率。
数据要求:生成模型需要的数据量比较大,能够较好地估计概率密度;而判别模型对数据样本量的要求没有那么多。
两者的优缺点如下图,摘自知乎
生成模型:以统计学和Bayes作为理论基础
1、朴素贝叶斯:
通过学习先验概率分布和条件概率分布
,得到联合概率分布,然后对应分类时的后验概率为:
使用极大似然估计(使用样本中的数据分布来拟合数据的实际分布概率)得到先验概率。
2、混合高斯模型:
3、隐马尔可夫模型 (HMM)
由隐藏的马尔可夫链随机生成观测序列,是生成模型。HMM是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状态生成一个观测而产生观测随机序列的过程。包含三要素:初始状态概率向量pie,状态转移概率矩阵A,观测概率矩阵B。
判别模型
1、感知机 (线性分类模型)
输入空间为,输出空间为
,使用的映射函数为
,其中sign为符号函数 (输入大于等于1时输出为1;否则为0)。使用的损失函数为误分类点到超平面的总距离,即:
其中M为所有误分类点的集合,||w||可以不考虑。可以使用随机梯度下降得到最后的分类超平面。
2、k近邻法
基于已知样本,对未知样本进行预测时,找到对应的K个最近邻,通过多数表决进行预测。没有显式的学习过程。
3、决策树
决策树在每个单元定义一个类的概率分布,形成一个条件概率分布。决策树中递归地选择最优特征,所谓最优特征即分类效果最好的特征,算法中使用信息增益 (information gain)来衡量,对应公式为:
其中D为训练集,A为待测试的特征,H(D)为熵 (经验熵),H(D|A)为条件熵,两者的计算为
但是以信息增益为划分,存在偏向于选择取值较多的特征,因此使用信息增益比来校正,
其中n为特征A的取值个数。
4、逻辑斯蒂回归模型
使用条件概率分布表示,
可以使用极大似然估计法估计模型参数,对优化目标使用梯度下降法或者拟牛顿法。
5、最大熵模型
原理:概率模型中,熵最大的模型是最好的模型,可以使用拉格朗日函数求解对偶问题解决。
6、支持向量机 (SVM)
SVM分为线性可分支持向量机 (硬间隔最大化)、线性支持向量机 (软间隔最大化)、非线性支持向量机 (核函数)三种。
目的是最大化间隔,这是和感知机最大的区别。
7、boosting方法 (AdaBoost等)
通过改变训练样本的权重,训练多个分类器,将分类器进行线性组合,提升分类性能。AdaBoost采用加权多数表决的方法。
8、条件随机场 (conditional random field, CRF)
给定一组输入随机变量条件下另一组输出随机变量的条件概率分布模型,其特点是假设输出随机变量构成马尔可夫随机场。可应用于标注问题。
9、CNN
训练过程中,每一个中间层都有其功能,但其具体的功能无法知道。
生成模型 VS 判别模型 (含义、区别、对应经典算法)相关推荐
- 生成模型与判别模型的区别
引入 监督学习的任务就是学习一个模型(或者得到一个目标函数),应用这一模型,对给定的输入预测相应的输出.这一模型的一般形式为一个决策函数Y=f(X),或者条件概率分布P(Y|X). 监督学习方法又可以 ...
- 生成模型和判别模型直接的区别
作者:JasonDing 链接:https://www.jianshu.com/p/d195b887a32e 來源:简书 简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处. 概率图分 ...
- 生成模型与判别模型的区别与理解
一.判别方法与生成方法 监督学习方法可分为判别方法和生成方法. 判别方法(Discriminative approach) 由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型 ...
- 生成模型与判别模型区别
概念理解 监督学习方法可分为两大类,即生成方法与判别方法,它们所学到的模型称为生成模型与判别模型. 判别模型:判别模型是学得一个分类面(即学得一个模型),该分类面可用来区分不同的数据分别属于哪一类: ...
- 生成模型与判别模型详解
本篇会详细讲解生成模型和判别模型的区别,篇幅稍长 作者:zouxy09 来源:https://blog.csdn.net/zouxy09/article/details/8195017 决策函数Y=f ...
- 生成模型和判别模型学习
生成模型和判别模型 在机器学习中,一般将学习方式分为监督式学习和非监督式学习方式. 回忆一下,监督学习的任务就是从数据中学习一个模型,应用这一模型,对给定的输入X预测相应的输出Y.这个模型的一般形式为 ...
- 生成模型 VS. 判别模型 Logistic 回归 VS. Softmax 回归
生成模型 VS. 判别模型 从概率分布的角度考虑,对于一堆样本数据,每个均有特征Xi对应分类标记yi. 生成模型:学习得到联合概率分布P(x,y),即特征x和标记y共同出现的概率,然后求条件概率分布. ...
- 理解生成模型与判别模型
其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明著,由SIGAI公众号作者倾力打造. 书的购买链接 书的勘误,优化,源代码资源 导言 我 ...
- [work] 生成模型和判别模型的理解
转载自:https://blog.csdn.net/zouxy09/article/details/8195017 https://blog.csdn.net/lk7688535/article/de ...
- 生成模型和判别模型_生成模型和判别模型简介
生成模型和判别模型 Intro 介绍 Recently I gave a presentation at work, where I explained how I solved some probl ...
最新文章
- [XA]转:一个关于结对编程(Pair Programming)的讲义
- COM+组件注册方法
- C++中extern关键字的作用
- 设备I/O之OVERLAPPED
- 《深入理解 Spring Cloud 与微服务构建》第十一章 服务网关
- linux 下测速时间分析
- css 倒三角_【推荐收藏】10 个最佳实践来改良你的 CSS
- UIImagePickerController 获取相片视频
- c语言实现通讯录(详解)
- Python中 实现过采样和下采样
- 电脑罗盘时钟html怎么设置成桌面,抖音最火的罗盘时钟桌面壁纸使用教程
- 彼得林奇PEG价值选股策略(附源码入口)
- sql日期中文大写显示
- 粒子系统-烟花效果的实现
- poi 大量数据写入
- qq公众号消息是发送到自己服务器,qq公众号屏蔽后还发消息 qq消息被屏蔽了怎么办...
- 2021阿里云、腾讯云、华为云、滴滴云评测比较
- 【电脑桌面不见了怎么办】
- 单源最短路径-分支限界法-优先队列式分支限界法-Dijkstra
- 关于实名认证上线时无法立即返回实名认证结果的问题
热门文章
- 计算机组成原理-高速缓冲存储器
- CodeForces 6D Lizards and Basements 2(DFS)
- html5游戏怎么修改数值,如何使用HTML5自定义数据属性
- 2023年天津农学院专升本专业课考试具体安排及准考证打印时间
- PHYSIONET 心电数据库
- 【四足机器人】从零开始搭建四足机器人mini cheetah仿真环境(零)准备工作
- Java工作引擎Jflow表单从表Excel格式数据导入
- poco库 文件服务器,使用POCO封装的服务器端的静态库
- 图像识别很简单,大家都在雪藏,我没挣到钱,所以我分享了
- 【Java愚公】idea自动补全变量名称和属性名称的快捷键