一、计算学习理论（computation learning theory）

计算学习理论研究的是关于通过“计算”来进行“学习”的理论，即关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计。

二、PAC 学习（Probably Approximately Correct，概率近似正确）在干什么？

计算学习理论中最基本的是概率近似正确（Probably Approximately Correct，PAC）学习理论。
我们通过一个”猜区间“游戏来说明PAC learning是什么。

Learning intervals（区间学习）

首先举一个简单的猜数游戏：

玩家1 心中默默假想一个区间[a b],同时随机地选取一个数字x。无论他怎么选择x，他都要告诉大家x是否在区间[a b]内（即a<x<b是否成立）。我们假设如果x在区间内为1，如果在区间外则为0。

玩家2 则通过玩家1 口中报出来的数字x和“1”、“0”来确定区间[a b]的值。因为玩家1 报数字的次数总归是有限（finite）的，所以很明显玩家2 几乎不可能完全的猜对a和b的值。但玩家2 可以根据玩家1 报出的新数据不断地更正自己的猜测。

极端的想象一下，如果玩家1 可以无限（infinte）次地去报数字，并且告诉大家这个数字x是否在区间内，我们就可以计算玩家 2 的区间所预测的错误结果的可能性。如果这个误差很小很小，那我们就可以说玩家2 “学习”了玩家1 的区间[a b]。也就是玩家2 猜对了！那么这个区间问题可以被称为PAC-learnable。

PAC learning

讲完这个游戏，我们重新回顾一下PAC learning的全名：probably approximately correct learning。

Probably的意思是：如果玩家1 可以无限次的玩这个游戏来报数字，玩家2 就能给出一个很好的区间预测。换句话说，玩家2 可以极大可能的猜对玩家1 假象的区间[a b]

Approximately correct 的意思是：在给定新的报数后，预测区间已经十分接近于玩家1 心中的假想区间了。并且这个预测区间的误差很小很小很小…………

三、PAC 学习理论简单总结

先放PAC学习相关理论的一个总结：同等条件下，模型越复杂泛化误差越大。同一模型在样本满足一定条件的情况下，样本数量越大，模型泛化误差越小，因此还可以说模型越复杂越吃样本。

四、为什么要学习 PAC 学习理论？

此理论可以帮助我们更深入的了解机器学习的学习机制。

已经入门或者从事过一段时间机器学习相关工作的你，有没有想过为什么在训练样本上学习了一个假设(函数？模型？下文统一叫假设)就能保证这个假设在训练样本之外的数据上有效？小样本量数据为什么不适用CNN/RNN？

也就是所谓的泛化性？

五、什么是PAC学习理论？

先说一下机器学习。机器学习有两个元素：模型与数据。其中模型又包含两部分：优化算法与假设空间。所谓机器学习就是用优化算法从假设空间中选择一个假设，使此假设能符合给定的数据描述。因此优化算法通俗的讲就是假设选择算法。

而PAC学习理论不关心假设选择算法，他关心的是能否从假设空间 H 中学习一个好的假设 h 。看到能否二字了没？此理论不关心怎样在假设空间中寻找好的假设，只关心能不能找得到。现在我们在来看一下什么叫“好假设”？只要满足两个条件(PAC辨识条件)即可:

近似正确：泛化误差 E(h) 足够小
E(h) 越小越好，最好泛化误差能等于0，但一般是不可能的。那我们就把 E(h) 限定在一个很小的数 η之内，即只要假设 h 满足 E(h) < η ，我们就认为 h 是正确的。
可能正确
不指望选择的假设 h 百分之百是近似正确的（按上段所述，即 E(h) < η ），只要 很可能 是近似正确的就可以，即我们给定一个值 μ ，假设 h 满足 P(h近似正确)>=1-μ。

综上两点，就得到了PAC（可能近似正确，probably approximate correct）可学习的定义。简单的讲就是模型在短时间内利用少量的(多项式级别)样本能够找到一个假设 h ，使其满足 P(E(h) < η) >=1-μ，其中0<η，μ<1。

参考链接

周志华《机器学习》西瓜书
https://zhuanlan.zhihu.com/p/34687134
30分钟了解PAC学习理论——计算学习理论第一讲

【机器学习】PAC 学习理论相关推荐

【机器学习】学习理论（learning theory）
自定义标题 [机器学习]学习理论(learning theory) 1.偏差\方差权衡 2.预备知识 3.H类有限的情况 4.H类无限情况 [机器学习]学习理论(learning theory) 1. ...
机器学习：计算学习理论
计算学习理论介绍关键词: 鲁棒性关键词: [机器学习基础]理解为什么机器可以学习1--PAC学习模型--简书关键词:存在必要性:从机器学习角度出发 PAC学习理论:机器学习那些事关键词:不错的 ...
机器学习物语(4)：PAC Learnability
这次我们要介绍的话题是 PAC Learnability ,直译过来就是 PAC 可学习性.可学习性听起来和计算理论里的可计算性是很类似的,当然其实也确实是类似的,而且这里也包含一些计算理论里的内容. ...
机器学习理论-PAC learning
对于一个机器学习任务,通常需要考虑它是不是可学的 (learnable) PAC学习给出了一个抽象的刻画机器学习能力的框架,基于这个框架,有很多重要问题可以探讨,例如: 某任务在什么样的条件下可学得较 ...
机器学习 - 学习理论
背景提及机器学习(Machine Learning),大多数人的脑海中首先浮现出来的就是各种机器学习的模型策略.当一个问题的数据集(data set)确定后,我们便开始观察数据,处理特征,确定模型. ...
【机器学习百科全书目录】PRML ESL MLAPP 西瓜书花书 RLAI 统计学习方法蒲公英书
文章目录机器学习百科全书目录 Pattern Recognition and Machine Learning The Elements of Statistical Learning (Secon ...
【机器学习】初学理论知识
1.什么是机器学习:通过算法使得机器能从大量数据中学习规律从而对新的样本做决策.(相当于构建一个映射函数) 2.常见的机器学习问题:回归(线性拟合).分类.聚类(多分类) 3.机器学习研究的主要内容: ...
机器学习和人工智能发展简史
Year Event Antiquity Hephaestus 和 Pygmalion 的希腊神话结合了智能机器人(如 Talos)和人造生物(如 Galatea 和 Pandora)的概念. Ant ...
【周志华机器学习】十二、计算学习
文章目录参考资料 1. 基本概念 2. PAC学习 3. 有限假设空间 3.1 可分情形 3.2 不可分情形 4. VC维 4.1 增长函数 4.2 对分与打散 4.3 VC维 5. 稳定性参考资 ...
机器学习，数据挖掘在研究生阶段大概要学些什么？
知乎用户机器学习.数据挖掘话题的优秀回答者 1,475 人赞同了该回答这是一个很难回答的问题,每个人的基础不同起点也不同,需要学的东西也完全不一样.先说我的观点:不要想一下子吃成一个胖子:很多时 ...

【机器学习】PAC 学习理论

文章目录