Radermacher Complexity

本文主要从理解方面入手以及各个公式之间的关系，没有证明（因为证明看了我也会忘。。）
简要概念
1. Radermacher Complexity：样本复杂性与无穷集合的可学习性之间的关系. 值：在一个函数集合中,所有函数与random noise相关性的最大值。
2. Growth function: Random Complexity 的求法是NP-hard，所以我们用Growth function 来近似他的上届。值：在一个样本集合S中，有m个样本，这m个样本被H集合中的不同函数进行分类的所有不同方式
3. VC dimension:在样本集合S中，可以被H集合中不同函数分开的最大样本数，或者有多少样本可以被H集合中的函数打散(所有样本各种标签组合H里的函数都可以正确分类)。对于一个样本SS集合,函数HH若所有样本都可以被打散。由于每个样本有两中选择0,10,1,共有2|S|2^{|S|}中组合。所以若完全打散则HH集合中的个数|H|>2|S||H| > 2^{|S|},所以VCdim(H)<=log2|H|VCdim(H) .

McDiarmid’s inequality:

Hoeffding’s lemma

Hoeffding inequalty

举一个例子介绍复杂度：
我们都知道过拟合的时候，在训练集上误差很小，但在测试集上误差很大太高，对每一个样本都拟合(理解就好：指泛化性能很差)的很好，这是因为分类器复杂度。为了使得在测试集上效果比较好，因此在训练时需要在训练误差和模型复杂读之间做一个权衡。

Rademacher复杂度通过计算一个函数集合(映射或分类器）对随机噪声对拟合程度来判断一个函数集合的复杂度，即

S是某一个特定样本集，G是一个函数集合。ERM是指一个函数集合在某一个样本集S上度复杂度。

在某一个分布上的集合复杂度：

Theorem 3.1说明了训练集和测试集误差的关系：

左边为测试集，右边为已知训练集。可以把g(z)当成误差函数（实际上下面证明对于loss函数公式依然成立），我们就可以知道测试集的误差上限。

Radermacher Complexity相关推荐

Foundations of Machine Learning: Rademacher complexity and VC-Dimension(2)
Foundations of Machine Learning: Rademacher complexity and VC-Dimension(2) Foundations of Machine Le ...
什么是空间复杂度（What is actually Space Complexity ?）
属于空间复杂度(Space Complexity)在很多情况下被错认为是附属空间(Auxiliary Space),下面是附属空间和空间复杂度的定义. 附属空间(Auxiliary Space)是算法 ...
如何计算并测量ABAP及Java代码的环复杂度Cyclomatic complexity
代码的环复杂度(Cyclomatic complexity,有的地方又翻译成圈复杂度)是一种代码复杂度的衡量标准,在1976年由Thomas J. McCabe, Sr. 提出. 在软件测试的概念里, ...
【LE AUDIO】LC3 - Low Complexity Communication Codec
[未完成,先提交后面再改...有兴趣可以先参考我上传的文档 LC3_Spec_v1.0] [刚刚上传了从 Spec v5.2 整理的 LE_Audio 相关知识框架,就当是 Spec 读后感吧... ...
Handling Complexity in the Halo 2 AI
原文:http://www.gamasutra.com/view/feature/130663/gdc_2005_proceeding_handling_.php Developers of game ...
5328笔记 Advanced ML Chapter3-Hypothesis Complexity and Generalisation
预先定义的假设类:我们假设是最好的模型 Predefined hypothesis class 机器学习的本质就是找x到y的映射函数h.h就是我们说的模型.H就是所有映射方式的集合. Pretrain ...
chapter8 Pull Complexity Downwards
Pull Complexity Downwards 这章主要讨论如何创建一个更深的类例子:配置参数接口提供一些会控制接口行为的参数,比如缓存的大小或者是请求重试的次数. 接口的使用者必须提供参数合 ...
Refactor this method to reduce its Cognitive Complexity from 65 to the 15 allowed. [+22 locations]
Sonar常见问题及修改建议(201912):Sonar常见问题及修改建议2021(持续更新!!) Refactor this method to reduce its Cognitive Compl ...
Cognitive Complexity of methods should not be too high Refactor this method to reduce its Cognitive
1.问题 Cognitive Complexity of methods should not be too high Refactor this method to reduce its Cogni ...

Radermacher Complexity

Radermacher Complexity相关推荐

最新文章

热门文章