概率图模型

14.1 隐马尔科夫模型

机器学习最重要的任务:根据一些已观察到的证据(例如训练样本)来对感兴趣的未知变量(例如类别标记)进行估计和预测。

probabilistic model概率模型将学习任务归结于计算变量的概率分布,在概率模型中,利用已知变量推测未知变量的分布称为“推断(inference)”,其核心是如何基于可观测变量推测出未知变量的条件分布。

probabilistic graphical model是一类用图来表达变量相关关系的概率模型。图上的每个结点表示一个或一组随机变量,结点之间的表示变量间的概率相关关系,即“变量关系图”。根据边的性质不同,probabilistic graphical model可分为两类:1.有向无环图,或称为有向图模型或贝叶斯网(bayesian network);2.无向图,又称为无向图模型或马尔科夫网(markov network)。

Hidden Markov Model  隐马尔科夫模型是结构最简单的动态bayesian network。

Markov Chain:系统下一时刻的状态仅由当前状态决定,不依赖于以往的任何状态。

14.2 马尔科夫随机场

Markov Random Field,MRF  马尔科夫随机场是典型的马尔科夫网。markov random field有一组势函数protential functions,亦称因子factor。

局部马尔科夫性(local markov property):给定某变量的邻接变量,则该变量条件独立于其他变量。

成对马尔科夫性(pairwise markov property):给定所有其他变量,两个非邻接变量条件独立。

14.3 条件随机场

Conditional Random Field,CRF是一种判别式无向图模型,是对条件分布进行建模。

条件随机场试图对多个变量在给定观测值后的条件概率进行建模。

14.4 学习与推断

概率图模型的推断方法大致有两类:1类是精确推断方法,希望能计算出目标变量的边际分布或条件分布的精确值;2类是近似推断方法,希望在较低时间复杂度下获得原问题的近似解。

14.5 近似推断

近似推断方法大致可分为两类,一类是sampling,通过使用随机化方法完成近似;一类是使用确定性近似完成近似推断,典型代表为变分推断(variational inference)。

概率图模型最常用的采样技术就是马尔科夫链蒙特卡洛方法(MCMC)。

变分推断通过使用已知简单分布来逼近需推断的复杂分布,并通过限制近似分布的类型,从而得到一种局部最优、但具有确定解的近似后验分布。

14.6 话题模型

topic model是一族生成式有向图模型,主要用于处理离散型的数据(如文本集合)。

机器学习第14章(概率图模型)相关推荐

  1. (《机器学习》完整版系列)第14章 概率图模型——14.11 趣谈话题模型(隐狄利克雷分配模型LDA)

    提示: 隐狄利克雷分配模型(LDA,注:同一缩写LDA,在3.3 线性判别分析LDA等处表示线性判别分析LDA,注意区别)是话题模型的代表,研究它挺有趣的,也能破除神秘感(这类机器学习写文章不是根据意 ...

  2. 机器学习(周志华) 参考答案 第十四章 概率图模型 14.9

    机器学习(周志华西瓜书) 参考答案 总目录 http://blog.csdn.net/icefire_tyh/article/details/52064910 机器学习(周志华) 参考答案 第十四章 ...

  3. 机器学习(周志华) 第十四章概率图模型

    关于周志华老师的<机器学习>这本书的学习笔记 记录学习过程 本博客记录Chapter14 文章目录 1 隐马尔可夫模型 2 马尔可夫随机场 3 条件随机场 4 学习与推断 5 近似推断 6 ...

  4. 《机器学习》 周志华学习笔记第十四章 概率图模型(课后习题)python实现

    一.基本内容 1.隐马尔可夫模型 1.1. 假定所有关心的变量集合为Y,可观测变量集合为O,其他变量集合为R, 生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O),给定一组 ...

  5. 机器学习(第二章)—— 模型评估

    目录 一.评估指标的局限性 二.ROC曲线 三.余弦距离的应用 四.A/B测试的陷阱 五.模型的评估方法 六.超参数优化 七.过拟合与欠拟合 准确率的局限性 精确率与召回率的权衡 平方根误差的&quo ...

  6. 《机器学习》 —— 第二章:模型评估与选择 学习笔记

    2.1 经验误差与过拟合 把分类错误的样本数占样本总数的比例称为"错误率"(error rate),即如果在m个样本中有a个样本分类错误,则错误率E=a/m:相应的,1-a/m称为 ...

  7. 《人工智能》机器学习 - 第6章感知机模型(一 理论讲解)

    6.1引言 PLA全称是Perceptron Linear Algorithm,即线性感知机算法,属于一种最简单的感知机(Perceptron)模型.感知机(perceptron)是二分类的线性分类模 ...

  8. [机器学习]概率图模型

    本文档记录了<机器学习>第 14 章概率图模型相关内容 概率图模型 模型 有向图/无向图 判别式/生成式 逻辑回归 无向图 判别式 朴素贝叶斯 有向图 生成式 HMM 有向图 生成式 马尔 ...

  9. 【经典书】概率图模型:原理与技术

    来源:专知 本文为书籍,建议阅读5分钟概率图模型将概率论与图论相结合,是当前非常热门的一个机器学习研究方向. 概率图模型将概率论与图论相结合,是当前非常热门的一个机器学习研究方向.<概率图模型: ...

最新文章

  1. VC2005与IE8的冲突解决
  2. json对象与.net对象互相转换
  3. GitLab+Jenkins+Ansible
  4. 【日本語学習】 刺身
  5. 01-iOS蓝牙开发简介
  6. python中os.path和pathlib
  7. mysql索引下沉_MySQL 5.6 索引条件下推优化
  8. pytorch中深度拷贝_pytorch:对比clone、detach以及copy_等张量复制操作
  9. python 元类 详解_Python 元类详解 __new__、__init__、__call__、__metacalss__
  10. 【AngularJs学习笔记五】AngularJS从构建项目开始
  11. 123. 买卖股票的最佳时机 III
  12. Qt:During startup program exited with code 0xc0000135
  13. 华为hs8145v5刷机包_华为hs8145v5刷机包_华为P40 Pro(ELSAN00/TN00)官方11.0.0.155固件卡刷包强刷包救砖包...
  14. 2022“杭电杯”中国大学生算法设计超级联赛(5)杭电多校第五场
  15. Android Google Play 支付SDK接入指南
  16. win7系统备份还原软件_傲梅轻松备份bug导致系统还原0x81000203错误,
  17. C语言练习之输入x输出y
  18. 解决一直Gradle Build Running的问题
  19. 【兴趣】儿时背诵过的朝代歌和节气歌
  20. 计算机无法识别移动硬盘怎么办,笔记本识别不了移动硬盘如何解决_电脑无法识别移动硬盘的处理办法...

热门文章

  1. 什么是股票API交易?需要注意什么风险?
  2. Nodejs一键实现微信内打开网页url自动跳转外部浏览器访问的功能
  3. 小船翻了,路还得继续
  4. 哈希表查找——成功和不成功时的平均查找长度
  5. (PD)PowerDesigner设计表时显示注释列Comment,Columns中没有Comment的解决办法(关联MySQL)
  6. 电力系统潮流的计算及其分析控制(下)
  7. 《杀手 2*》:在现代 CPU 上增强混响效果
  8. Excel VBA 锁定特定单元格
  9. Starting MySQL.. ERROR! The server quit without updating PID file (/usr/local/mysql/data/vm10-0-0-1
  10. Android-10-拨号器