Nonlinear Transform

前文中，我们已经学习了linear classification，linear regression，logistic regression三种线性方法。

如何解决这种问题呢？

其实很好解决，只需要加入一些二次项即可。

这种思路非常简单易懂，我们关心的是：这样做会带来什么样的后果。

根据之前我们讲过的，对于linear classification这种问题，其vc dimension等于自由度，我们可以得到，进行Q-th order多项式变换之后：

1）对于实际计算上来说，原来x是d维数据，现在x是O(Q^d)维数据，计算和存储上实现都比较困难；

2）如果Q很大，导致d_vc很大，根据之前的VC bound理论，从而会导致E_in与E_out相差很大；

所以呢，具体上Q的选择也需要trade-off：

我们可以看出，这里Q起到的作用与之前我们提高的d_vc和m_H是等价的。

就像我们一开始提到的，有很多时候，我们不得不使用nonlinear transform，如何选择Q是一个重要的问题。Q太大会导致过度拟合问题，Q太小呢，可能会导致算法无法解决此问题。一个合理的思路是：

从最小的H1（也即：Q=1）开始，如果此时算法的表现足够好，那么就用此算法；否则，再逐渐增加Q。从上面的curve来说，就是从最左边开始逐渐向右移，直到找到好的结果。

转载于:https://www.cnblogs.com/wangyanphp/p/5469072.html

Nonlinear Transform相关推荐

台湾大学林轩田机器学习基石课程学习笔记12 -- Nonlinear Transformation
红色石头的个人网站:redstonewill.com 上一节课,我们介绍了分类问题的三种线性模型,可以用来解决binary classification和multiclass classificati ...
机器学习 | 台大林轩田机器学习基石课程笔记12 --- Nonlinear Transformation
课程主页课程视频和PPT 上一节课,我们介绍了分类问题的三种线性模型,可以用来解决binary classification和multiclass classification问题.本节课主要介绍非 ...
nonlinear transformation
一.non-linear separable data set 可以说,在我们之前所学的知识中,linear binary classification是基石!对于linear binary clas ...
机器学习基石12：非线性变换（Nonlinear Transformation）
本文介绍了非线性变换的整体流程:通过非线性变换,将非线性模型映射到另一个空间,转换为线性模型,再来进行线性分类. 之后介绍了非线性变换存在的问题:时间复杂度和空间复杂度的增加. 最后证明了非线性变换的 ...
机器学习基石之非线性转换（Nonlinear Transformation）
非线性转换(Nonlinear Transformation) 前面讲了许多线性模型,但是假如数据并不是线性可分的,该如何处理呢?基本思路是将数据样本(特征)空间 X\mathcal{X}X 映射到 ...
Lecture 12 ： Nonlinear Transformation
Lecture 12 : Nonlinear Transformation [参考]https://redstonewill.com/246/ [概括] 主要介绍了非线性分类模型: 通过非线性变换,将 ...
Soft-to-Hard Vector Quantization for End-to-End Learning Compressible Representations
郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Abstract: 我们提出了一种新的方法,通过端到端的训练策略来学习深度架构中的可压缩表征.我们的方法是基于量化和熵的软(连续)松弛,我 ...
iclr 2020 | Geom-GCN：几何图神经网络
作者 | 程玉审稿 | 杨喜喜今天给大家介绍吉林大学计算机科学与技术学院杨博老师团队在ICLR2020的一篇论文,该研究针对MPNN现存的一些问题提出了一种新的图神经网络的几何聚合方式,其核心思想 ...
ML基石_12_NonLinearTransformation
retro quadratic hypothesis nonlinear transform price on nonlinear transform structured hypothesis se ...

Nonlinear Transform

Nonlinear Transform相关推荐

最新文章

热门文章