如何知道特征的重要性

我们所有人可能都面临过这样的问题，即从一组数据中识别相关特征，并删除不相关或次要的特征不会对我们的目标变量产生太大的影响，从而为模型提供更好的准确性。

特征选择是机器学习中的核心概念之一，它极大地影响模型的性能。用于训练机器学习模型的数据功能对可达到的性能有很大的影响。

不相关或部分相关的特征可能会对模型性能产生负面影响。

特征选择和数据清理应该是模型设计的第一步，也是最重要的一步。

特征选择是您自动或手动选择那些对您感兴趣的预测变量或输出贡献最大的特征的过程。
数据中具有不相关的特征会降低模型的准确性，并使模型基于不相关的特征而学习。

如何选择特征以及在对数据建模之前执行特征选择有什么好处？
·减少过度拟合：更少的冗余数据意味着更少的基于噪声进行决策的机会。
·提高准确性：减少误导数据意味着提高了建模准确性。
·减少训练时间：更少的数据点降低了算法复杂性，并且训练速度更快。

我通过选择所有特征准备了一个模型，我得到了大约65％的准确度，这对预测模型来说并不是很好，在进行了一些特征选择和特征工程后，我的模型代码没有进行任何逻辑更改，我的准确度跃升至81 ％，这非常令人印象深刻

我将分享3种易于使用的功能选择技术，这些技术也会产生良好的效果。
1.单变量选择
2.功能重要性
3带有热图的相关矩阵

单变量选择
可以使用统计检验来选择与输出变量关系最密切的那些特征。
scikit-learn库提供SelectKBest类，该类可与一组不同的统计测试一起使用，以选择特定数量的功能。
下面的示例对非负特征使用卡方（chi²）统计检验，以从“移动价格范围预测数据集”中选择10个最佳特征。

功能重要性
我们可以使用模型的特征重要性属性来获取数据集中每个特征的特征重要性。
特征重要性为您提供数据中每个特征的得分，得分越高，该特征对您的输出变量的重要性或相关性就越高。
特征重要性是基于树的分类器随附的内置类，我们将使用额外的树分类器来提取数据集的前10个特征。

带有热图的相关矩阵
关联说明要素如何相互关联或与目标变量关联。
相关可以是正的（增加一个特征值增加目标变量的值）或负的（增加一个特征值减少目标变量的值）
通过热图，可以轻松地确定哪些特征与目标变量最相关，我们将使用seaborn库绘制相关特征的热图。

如何知道特征的重要性相关推荐

[特征工程系列一] 论特征的重要性
满打满算,还有十天左右就要过年了,这些天大家或多或少都有点浮躁.反过来想,趁大家都懈怠的时候,正是学习的最佳时机.趁着这几天,也给自己加点码,去认真的再看一下特征工程.我给自己列了下面的这一份学习清单 ...
机器学习如何计算特征的重要性_机器学习之特征工程
特征选择是特征工程中的一个子集,从所有的特征中,选择有意义的,对模型有帮助的特征,以避免将所有特征中对模型没作用的特征导入模型去训练,消耗不必要的计算资源.更正式地说,给定n个特征,我们搜索其中包括k ...
预处理--python实现用随机森林评估特征的重要性
python实现用随机森林评估特征的重要性随机森林根据森林中所有决策树计算平均不纯度的减少来测量特征的重要性,而不作任何数据是线性可分或不可分的假设. import numpy as np impo ...
python随机森林交叉验证_随机森林是否需要交叉验证+特征的重要性
随机森林不需要交叉验证! 随机森林属于bagging集成算法,采用Bootstrap,理论和实践可以发现Bootstrap每次约有1/3的样本不会出现在Bootstrap所采集的样本集合中.故没有参加 ...
机器学习如何计算特征的重要性_机器学习之特征缩放
今天本来要发一篇推荐以下吴恩达的机器学习课程,结果过不了审核,..... 没办法这里简单提一下:课程地址:https://study.163.com/course/courseMain.htm?cou ...
机器学习如何计算特征的重要性_干货：机器学习中的特征工程总结
结构总览特征工程传统编程的关注点是代码.在机器学习项目中,关注点变成了特征表示.也就是说,开发者通过添加和改善特征来调整模型."Garbage in, garbage out" ...
RandomForestClassifier(随机森林检测每个特征的重要性及每个样例属于哪个类的概率)...
#In the next recipe, we'll look at how to tune the random forest classifier. #Let's start by importi ...
gbdt 回归特征重要性排序_RandomForest、GBDT、XGBoost、lightGBM 原理与区别
RF,GBDT,XGBoost,lightGBM都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性. 根据基本学习器 ...
【深度学习】神经网络模型特征重要性可以查看了！！！
作者:杰少查看NN模型特征重要性的技巧简介我们都知道树模型的特征重要性是非常容易绘制出来的,只需要直接调用树模型自带的API即可以得到在树模型中每个特征的重要性,那么对于神经网络我们该如何得到 ...

如何知道特征的重要性

如何知道特征的重要性相关推荐

最新文章

热门文章