Vapnik-Chervonenkis dimension

source from: https://www.autonlab.org/_media/tutorials/vcdim08.pdf

定义

VC维是用来反映函数集学习能力的大小。

上面的讲义直接给出了VC维的定义。为了更形象地了解VC维的含义，还需要以下定义

Shattering

通俗点说，分散就是任意给定一个集合X=x1,x2,...,xrX={x_1,x_2,...,x_r}，设计的分类器能够正确地将其分类。

VC维就定义为分类器能够分散的最多数量的点。

例子

VC dimension = 2

VC dimension = 1

用处

可以用于模型选择

上图展示了一个结论，并不是VC维越高就越好，VC维越高，模型越复杂，同时泛化误差越大。

替代方法

在Slide里面给出了三种替代VC维进行模型选择的方法

Cross-validation

Akaike Information Criterion

Bayesian Information Criterion

Vapnik-Chervonenkis dimension相关推荐

对抗性攻击的原理简介
来源:Deephub Imba 本文约2200字,建议阅读5分钟本文介绍了对抗性攻击的原理. 由于机器学习算法的输入形式是一种数值型向量(numeric vectors),所以攻击者就会通过设计一种 ...
VC维的来龙去脉(转)
目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effective Number of Hypotheses Growth Funct ...
VC维与DNN的Boundary
原文链接:解读机器学习基础概念:VC维来去作者:vincentyao 目录: 说说历史 Hoeffding不等式 Connection to Learning 学习可行的两个核心条件 Effecti ...
专访微软Greg Yang，构建神经网络的底层语言，探索AI的“万物理论”
来源:智源社区为了进一步解读这一工作背后的意义,智源社区采访了论文一作.微软研究院高级研究员Greg Yang(杨格).采访中,我们不仅了解了µTransfer的背景,以及项目背后更为远大的目标,也 ...
VC维的来龙去脉 | 火光摇曳
转载地址:http://www.flickering.cn/machine_learning/2015/04/vc%E7%BB%B4%E7%9A%84%E6%9D%A5%E9%BE%99%E5%8E% ...
文献综述--------山东某地区基于深度学习神经网络的配电网负荷预测研究
摘要:地区电网负荷预测是供电企业在电网建设.运营过程中一项十分要的基础性的工作.小到一个企业的负荷预测,大到全国性电网的负荷预测研究,它的应用结果都会对适用范围内的企业经营管理.电力设施(电网)的 ...
【高维统计N2】工具和方法
高维统计需要对随机变量进行估计和误差分析,其使用的工具和方法与传统统计有所差异. 统计学研究的内容涉及: 怎么估计 a. 抽样出样本 b. 参数估计:eg无偏估计 θ ^ → θ \hat\theta ...
结构风险最小化和VC维度理论
SVM 是在建立在结构风险最小化和VC维理论的基础上.所以这篇只介绍关于SVM的理论基础. 1.泛化误差界机器学习的能力和它的表现,有一个衡量的标准那就是统计学习中的泛化误差界.所谓泛化误差,就是指 ...
独家 | 计算学习理论简介（附资源推荐）
作者:Jason Brownlee 翻译:陈超校对:王琦本文长度为3600字,建议阅读10+分钟本文为大家介绍了如何使用计算学习理论研究机器学习任务和方法,并对其中比较重要的子领域PAC学习以及 ...
独家 | 如何解决深度学习泛化理论
作者:Dmytrii S. 翻译:陈之炎校对:卢苗苗本文共2360字,建议阅读5分钟. 本文与大家讨论深度学习泛化理论中的一些经验并试图对它做出解释. 我们可以从最新的关于深度学习"炼金 ...