vc demension

VC 维在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高学习机器的复杂性越高。VC 维反映了函数集的学习能力，VC 维越大则学习机器越复杂(容量越大)。
所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。
推广的界（经验风险和实际风险之间的关系，注意引入这个原因是什么？因为训练误差再小也就是在这个训练集合上，实际的推广能力不行就会引起过拟合问题还。所以说要引入置信范围也就是经验误差和实际期望误差之间的关系）：
期望误差R(ω) ≤ Remp (ω)+ Φ（h/n）注意Remp (ω)是经验误差也就是训练误差（线性中使得所有的都训练正确），Φ（h/n）是置信范围，它是和样本数和VC维有关的。上式中置信范围Φ 随n/h增加，单调下降。即当n/h较小时，置信范围Φ 较大，用经验风险近似实际风险就存在较大的误差，因此，用采用经验风险最小化准则，取得的最优解可能具有较差的推广性；如果样本数较多，n/h较大，则置信范围就会很小，采用经验风险最小化准则，求得的最优解就接近实际的最优解。可知：影响期望风险上界的因子有两个方面：首先是训练集的规模 n，其次是 VC 维 h。可见，在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制，这就是结构风险最小化（Structure RiskMinimization，简称 SRM）的由来。
在有限的训练样本情况下，当样本数 n 固定时，此时学习机器的 VC 维越高(学习机器的复杂性越高)，则置信范围就越大，此时，真实风险与经验风险之间的差别就越大，这就是为什么会出现过学习现象的原因。机器学习过程不但要使经验风险最小，还要使其 VC 维尽量小，以缩小置信范围，才能取得较小的实际风险，即对未来样本有较好的推广性，它与学习机器的 VC 维及训练样本数有关。
线性可分的问题就是满足最优分类面的面要求分类面不但能将两类样本正确分开（训练错误率为 0），而且要使两类的分类间隔最大

vc demension相关推荐

linear regression and logistic regression
①linear regression target function的推导线性回归是一种做拟合的算法: 通过工资和年龄预测额度,这样就可以做拟合来预测了.有两个特征,那么就要求有两个参数了,设置 , ...
linear regression and logistic regression 1
①linear regression target function的推导线性回归是一种做拟合的算法: 通过工资和年龄预测额度,这样就可以做拟合来预测了.有两个特征,那么就要求有两个参数了,设置 , ...
5、每周一点canvas动画--速度
查看全文 http://www.taodudu.cc/news/show-5250190.html 相关文章: 9个非常有趣的HTML5 Canvas动画特效合集小程序直播-疯狂点赞Canvas动画 ...
VC串口通信编程-2
VC串口通信编程 (2009-07-08 13:48:40) 转载▼ Win32串口编程(转:韩耀旭) 在工业控制中,工控机(一般都基于Windows平台)经常需要与智能仪表通过串口进行通信.串口通信 ...
VC中基于 Windows 的精确定时
方式一:VC中的WM_TIMER消息映射能进行简单的时间控制.首先调用函数SetTimer()设置定时间隔,如SetTimer(0,200,NULL)即为设置200ms的时间间隔.然后在应用程序中增 ...
VC manifest
manifest原理和用途 dll是被动态调用的,所以会被若干个程序共享使用的但是如果dll在应用程序不知道的情况下升级了.或是被另一个程序更改了,就可能会出现问题,即"DLL Hell& ...
VC运行时库（/MD、/MT等）
VC项目属性→配置属性→C/C++→代码生成→运行时库可以采用的方式有:多线程(/MT).多线程调试(/MTd).多线程DLL(/MD).多线程调试DLL(/MDd).单线程(/ML).单线程调试( ...
vc picture控件载入背景图，随控件大小改变
在mfc里,想要在Picture控件中载入一张图片有两种方法:静态的和动态的.静态的方法就是图片先载入资源(.rc)文件中,拥有一个唯一的ID:动态的方法就是制定图片的路径名即可. 当然这样的方法网上 ...
VC开发Windows客户端软件之旅——前言
从第一次拖着行李入京找活,至今已工作若干年了.这些年一直追逐自己的梦想,跑过三个城市,换了三份工作,认识了很多业内的朋友.和朋友们闲聊时,发现很多人都已经不再做客户端软件了.有的转去做管理,有的转去做 ...

vc demension

vc demension相关推荐

最新文章

热门文章