关于证明PAC可学习

参考文章

最近在学习statistical learning，学习到了《深入理解机器学习：从算法到原理》这本书，其中有对PAC进行了详细的介绍，在做题的时候对PAC的证明十分的困惑，这里基本想清楚后做一个总结，如有错误的还请指出。

首先来明确一个概念，PAC可学习是针对什么而言的，我的理解是 对于我们的假设类H（通俗点说就是分类器的集合） 可以找到一个近似正确的分类器，这个分类器满足
其中定义m个sample组成S空间，其中每个sample服从D分布，并且互相独立；
如果存在一个算法A，在m（sample个数）有限的情况下，找到假设h；
使得对于任意两个数ε，δ，（ε，δ都大于0小于1）概率P(h对S中sample预测错误次数大于ε) < δ；

现在我们有一个分类器集合R，我们想证明R是PAC可学习的，因此我们找到一个包含所有positive examples(这里是蓝色的点)最小的R’，来证明R’可以满足我上面所说过的不等式，即完成了R是PAC可学习的证明。（换句话说，由于我们找到了近似正确的分类器R’，所以R是PAC可学习的）

现在我们的目标是证明R’满足上面说过的不等式，这里我们做一个转换：

我们由R向内扩展出4个小矩形：r1,2,3,4。每个r的概率x/4。（这里所说的概率是指当我们做测试集测试时的蓝色点落入r而形成的错误概率，因为蓝色点落入了r中，会被R’归类为红色的点所以形成错误；而对于R’，它的错误率相当于R’和R的补集）

所以，当R(R‘)>ε时，R’必须错过至少一个ri,1<=i<=4。

因为，当R’不相交于任何一个r时，R‘的错误率就大于等于ε，这里解释是这样的，当R’与ri,1<=i<=4,都相切时，R‘的错误率=ε，而R’与任何一个ri都不相交时，r上的错误率ε加上R’与r之间会空出一部分空间所形成的错误率==>R‘的错误率就大于ε。

R’与r都相交时，R‘的错误率就小于ε，这个很好理解就不过多解释了。

而当R’与r中的1个相交时，我们可能会有疑问，为什么此时R‘的错误率仍然大于ε呢？这是因为，正如上图所示，R’与r2相交了一部分，但是和其他三个r没有相交，对于与r1,3,4没有相交而空出来的那部分空间，我们仍然可以用人为的方式来使得空出的空间大于R’与r2相交的空间，并保证错误率仍然大于ε。（对于其他的相交情况是同理的）

因此我们可以得出我们的不等式了：

（因为这里我们是想求错误率大于ε的这个概率的一个上界，所以我们取R’与任何一个r都不相交的概率为上界。）

由于并集的概率小于各自概率的和：

由于S中的每个sample的独立分布的，并且落在r1中的概率为x/4，所以

由于我们要求错误个数大于x的概率小于y，所以可以定义如下的不等式。

推导出m的下限。

这就说明只需要有限个实例就能满足上面的概率不等式。

这就说明了，上面这个平面图形中学习矩形的问题是PAC可学习的。

证明过程适用与《深入理解机器学习》这本书的习题2.3和3.3，希望可以给还在迷惑的同学一些帮助

参考文章

本人比较懒，所以图片和部分推导过程引用了：PAC学习框架 https://www.cnblogs.com/alphablox/p/5935826.html 这篇文章
本文也是针对该文章基础上具体了细节和新增了一些个人理解，如有侵权，立刻删除侵权的内容。