机器学习过度拟合问题一些原因
这几天在训练一个文本处理的机器学习算法，使用支持向量机和决策树算法在训练集上的数据的准确度特别高，但是在测试集上的数据的准确度确很低，于是陷入过度拟合的烦恼中，查找资料发现一些多度拟合的看法。仔细想想确实在训练时存在一些问题，第一：输入变量多，由于缺乏对问题的根本认识，使用了很多无关变量，这个问题打算从其它途径先认识变量和问题的关系；第二：数据的噪声可能是比较大，没有考虑到关键的特征和信息。下面的几段文字是一些关于多度拟合的认识：
过度拟合（overfitting）是指数据模型在训练集里表现非常满意，但是一旦应用到真实业务实践时，效果大打折扣；换成学术化语言描述，就是模型对样本数据拟合非常好，但是对于样本数据外的应用数据，拟合效果非常差。在我们数据分析挖掘业务实践中，就是“模型搭建时表现看上去非常好，但是应用到具体业务实践时，模型效果显著下降，包括准确率、精度、效果等等显著下降”。
我自己见识有限，目光短浅，无法穷举主要的原因和避免的方法，只能班门弄斧，抛砖引玉，说说我自己的一孔之见了，期待各位的指正和增补，我给各位献丑了。
过拟合的第一个原因，就是建模样本抽取错误，包括（但不限于）样本数量太少，抽样方法错误，抽样时没有足够正确考虑业务场景或业务特点，等等导致抽出的样本数据不能有效足够代表业务逻辑或业务场景；
过拟合的第二个原因，就是样本里的噪音数据干扰过大，大到模型过分记住了噪音特征，反而忽略了真实的输入输出间的关系；
过拟合的第三个原因，就是在决策树模型搭建中，如果我们对于决策树的生长没有合理的限制和修剪的话，决策树的自由生长有可能每片叶子里只包含单纯的事件数据(event)或非事件数据（no event），可以想象，这种决策树当然可以完美匹配（拟合）训练数据，但是一旦应用到新的业务真实数据时，效果是一塌糊涂。
过拟合的第四个原因，就是建模时的“逻辑假设”到了模型应用时已经不能成立了。任何预测模型都是在假设的基础上才可以搭建和应用的，常用的假设包括：假设历史数据可以推测未来，假设业务环节没有发生显著变化，假设建模数据与后来的应用数据是相似的，等等。如果上述假设违反了业务场景的话，根据这些假设搭建的模型当然是无法有效应用的。
过拟合的第五个原因，就是建模时使用了太多的输入变量，这跟上面第二点（噪音数据）有些类似，数据挖掘新人常常犯这个错误，自己不做分析判断，把所有的变量交给软件或者机器去“撞大运”。须知，一个稳定优良的模型一定要遵循建模输入变量“少而精”的原则的。
上面的原因都是现象，但是其本质只有一个，那就是“业务理解错误造成的”，无论是抽样，还是噪音，还是决策树，神经网络等等，如果我们对于业务背景和业务知识非常了解，非常透彻的话，一定是可以避免绝大多数过拟合现象产生的。因为在模型从确定需求，到思路讨论，到搭建，到业务应用验证，各个环节都是可以用业务敏感来防止过拟合于未然的。
入世，出世，都是一样的“道”，所谓“道”从来不离开我们半步，只是看我们自身是否足够清净，足够醒悟，足够真实而已。佛法有八万四千法门，但是这些林林总总的都是不同的方便路径，归根结底，佛法的根本只是“认识我们与生俱来的本来面目，真如自性”而已。
过拟合的产生，原因种种，不一而足，但是这种分类和剖析只是人为的方便而已，防止过拟合的终极思路就是真正透彻理解业务背景和业务逻辑，有了这个根本，我们一定可以正确抽样，一定可以发现排除噪声数据，一定可以在决策树、神经网络等算法中有效防止过拟合产生的。
当然，除了上面“业务透彻了解”这个根本外，也有一些技术层面的方法来防止过拟合的产生，虽然是“术”的层面，但是很多人热衷于这些技巧，所以，在这里也顺便列举如下：
最基本的技术手段，就是合理、有效抽样；包括分层抽样，过抽样，等等，用不同的样本去检验模型；
另外，事前准备几个不同时间窗口，不同范围的测试数据集、验证数据集，把模型在不同的数据集里分别“交叉检验”，是目前业界防止过拟合的最常用的手段了；
第三，建模时目标观测值的数量太少，如何分割训练集和验证集的比例，需要建模人员灵活掌握；
第四，如果数据太少的话，谨慎使用神经网络模型，只有足够多的数据的情况下，神经网络模型才可以有效防止过拟合的产生。并且，使用神经网络时，一定要事先有效筛选输入变量，千万不能一股脑把所有变量放进去。
说一千，道一万，上面的文字都只是文字而已，如何防止过拟合，这个最终只能靠你在实践中自己去体会，去摸索，去感觉。这个世界上，把佛法，佛学挂在嘴边的人比比皆是，少有人能真正“信、解、行、证”，所以成佛作祖在我们这个时代实在是太稀有太罕见了。我自己也惭愧至极，罗里啰嗦，胡说八道总结了这些过拟合的原因和防止对策，但是我自己又对数据挖掘实践应用了解多少呢？我又有什么资格在这里夸夸其谈呢？我这几天一直在思考“互联网行业数据化运营的桎梏”，在总结种种数据化运营效果不好的原因时，也忘记了“过拟合”这个技术层面，可见我也只会嘴上夸夸其谈，行动上没有半点功夫，我对自己充满了鄙视。
机器学习过度拟合问题一些原因相关推荐
- 机器学习--过度拟合 欠拟合
过度拟合(overfitting)是指数据模型在训练集里表现非常满意,但是一旦应用到真实业务实践时,效果大打折扣:换成学术化语言描述,就是模型对样本数据拟合非常好,但是对于样本数据外的应用数据,拟合效 ...
- 过度拟合_过度拟合和尺寸缩减的过度拟合的最终指南
过度拟合 Let us consider that we are designing a machine learning model. A model is said to be a good ma ...
- python前期学什么过度_python机器学习中过度拟合现象是什么 怎么解决
如果一味的去提高训练数据的预测能力,所选模型的复杂度往往会很高,这种现象称为过拟合,所表现的就是模型训练时候的误差很小,但在测试的时候误差很大. 指在模型参数拟合过程中的问题,由于训练数据包含抽样误 ...
- 如何避免期货程序化交易中的过度拟合现象
在建立量化交易模型的过程中,很多人都会经历过度拟合的情况.过度拟合其实是机器学习领域和统计学领域的一个概念.一般被用作表示一个模型在测试时表现的非常好,但是在实践过程却成绩却不如预期. 对于传统的机器 ...
- 过度拟合 Over fitting
一:说明 过度拟合是指模型与训练数据拟合较好,训练误差很小或没有训练误差,但不能很好地推广到不可见数据.或者说在实际的整个数据分布(包含训练集以外实例)上表现不好时,称之为该模型存在过度拟合. 由于测 ...
- Overfitting机器学习中过度拟合问题
过度拟合:机器从样本数据中过度的学习了太多的局部特征,在测试集中会出现识别率低的情况. 1.过度拟合(从知乎上看到的) (1)对于机器来说,在使用学习算法学习数据的特征的时候,样本数据的特征可以分为局 ...
- 【机器学习】什么是过度拟合？如何解决过度拟合？
系列文章目录 第九章 Python 机器学习入门之过度拟合问题及解决办法 系列文章目录 文章目录 前言 一. 什么是过拟合 ? 我们可以通过几个例子来了解一下什么是过拟合,编辑1 线性回归中的过拟合 ...
- 机器学习2.12——过度拟合
1⃣️高级优化 2⃣️多分类问题处理 3⃣️过度拟合 ⬇️三种拟合情况 ⚠️出现过拟合原因:特征变量过多 ❗️引发问题:由于为了拟合训练集,变量过多,一旦数据集不够多,则无法对其函数进行很好的约束,且 ...
- 机器学习 学习总结 第五章 在监督学习中什么是过度拟合问题？
过度拟合 什么是过度拟合? 线性回归的过度拟合 在线性回归问题中,我们用了直线方程,二次方程,高次方程来拟合数据集,如图: 显然直线方程没有很好的拟合数据集,是欠拟合,存在着高误差, 二次方程 是一个 ...
最新文章
- iOS12-crash错误-reason: 'UITableView failed to obtain a cell from its dataSource'
- iOS - Bundle 资源文件包
- python大家都会吗_一篇告诉你为什么人人都应该学点Python？
- margin塌陷问题
- 1064. 朋友数(20)
- python如何优雅判断类型
- 深度学习-TF函数-layers.concatenate用法
- Android大牛博客集
- 用Python 操作Web 前端 基础 1
- 装mysql电脑网卡不见了_电脑本地连接不见了,教您怎么解决
- MSN群每周讨论之快速估算和管理
- 阿里云ECS云服务器配置项目
- lisp如何批量选中特定图层_CAD里怎样一键选中某一个图层的所有内容？
- linux去除重复字符,Linux去除重复项命令uniq
- 命令行启动burp报错：-Xbootclasspath/p is no longer a supported option.解决方法（Mac ）
- 天干地支计算公式_如何快速的计算出每一天的天干地支
- 百科：天然药物化学家－－曾广方
- java语音识别(科大讯飞版)
- 涉嫌侵犯FinFET专利，韩国科技院把三星、高通及GF告上法庭
- LeetCode刷题实战517：超级洗衣机