如何提高机器学习模型预测准确率

转载：https://zhuanlan.zhihu.com/p/25013834

这篇文章主要从工程角度来总结在实际运用机器学习进行预测时，我们可以用哪些tips来提高最终的预测效果，主要分为Data Cleaning，Features Engineering， Models Training三个部分。

Data Cleaning

移除多余的duplicate features（相同或极为相似的features）
移除constant features（只有一个value的feature）

#R里面可以使用unique()函数判断，如果返回值为1，则意味着为constant features

移除方差过小的features（方差过小意味着提供信息很有限）

#R中可以使用caret包里的nearZeroVar()函数
#Python里可以使用sklearn包里的VarianceThreshold()函数

缺失值处理：将missing value重新编为一类。

#比如原本-1代表negative，1代表positive，那么missing value就可以全部标记为0
#对于多分类的features做法也类似二分类的做法
#对于numeric values,可以用很大或很小的值代表missing value比如-99999.

填补缺失值

可以用mean，median或者most frequent value进行填补

#R用Hmisc包中的impute()函数
#Python用sklearn中的Imputer()函数

高级的缺失值填补方法

利用其他column的features来填补这个column的缺失值（比如做回归）

#R里面可以用mice包，有很多方法可供选择

注意：不是任何时候填补缺失值都会对最后的模型预测效果带来正的效果，必须进行一定的检验。

Features Engineering

Data Transformation

a. Scaling and Standardization

#标准化，R用scale(), Python用StandardScaler()
#注意：Tree based模型无需做标准化

b. Responses Transformation

#当responses展现skewed distribution时候用，使得residual接近normal distribution
#可以用log(x),log(x+1),sqrt(x)等

Features Encoding

a.离散特征转化成连续特征

b.label encoding

Features Extraction

#主要是针对文本分析

Features Selection

a. 方法很多,此处略过

b. 此外，PCA等方法可以生成指定数量的新features（映射）

c. 擅对features进行visualization或correlation的分析。

Models Trainning

Mostly Used ML Models

尝试多一些的模型，比如下面这些：

利用Grid Search进行hyper参数的选择
利用Cross-Validation衡量训练效果
Ensemble Learning Methods

54)]

利用Grid Search进行hyper参数的选择
利用Cross-Validation衡量训练效果
Ensemble Learning Methods

如何提高机器学习模型预测准确率相关推荐

提高机器学习模型性能的五个关键方法
提高机器学习模型性能的五个关键方法 1. 数据预处理 2. 特征工程 3. 机器学习算法 4. 模型集成与融合 5. 数据增强以下是各个方面的具体分析和方法: [ 说明:1.这里主要是各个关键方法的 ...
用Python搭建机器学习模型预测房租价格
毫无疑问,机器学习是当前大数据分析中最热门的话题.这也是一些最令人兴奋的技术领域的基本概念,例如自动驾驶汽车和预测分析.百度上的机器学习搜索在2019年4月创历史新高,自此以来兴趣一直没有下降. 但是 ...
调参方法论：如何提高机器学习模型的性能？
在机器学习的实践中,除了知道有哪些算法和背后原理之外,我们还需要知道如何针对具体应用挑选一个合适的算法以及如何监控,并根据实验反馈改进机器学习系统. 在机器学习系统的日常开发中,实践者需要决定是否收集 ...
使用机器学习模型预测贷款资格
介绍(Introduction) Loans are the core business of banks. The main profit comes directly from the loan' ...
如何提高深度学习预测准确率
问题在深度学习中,评估模型很重要的一点就是准确率,就是正例预测也是正例的数量占所有预测是正例的数量的比例,但在模型训练中,准确率有时候不是很高,我们就需要来提高准确率,让模型达到我们的要求, 方法 ...
机器学习预测模型_使用机器学习模型预测心力衰竭的生存时间-第一部分
机器学习预测模型数据科学 , 机器学习 (Data Science, Machine Learning) 前言 (Preface) Cardiovascular diseases are dise ...
RDKit | 基于随机森林（RF）的机器学习模型预测hERG阻断剂活性
从分子相似性评估到使用机器学习技术的定量构效关系分析各种建模方法已应用于不同大小和组成的数据集(阻断剂和非阻滞剂的数量).本研究中使用从公共生物活性数据开发用于预测hERG阻断剂的稳健分类器.随机森林 ...
RDKit | 基于不同描述符和指纹的机器学习模型预测logP
log P(油水分配系数)是确定化合物是否适合用作药物的最重要属性之一.当前,用于计算机预测log P的大多数可用回归模型都在实验测得的log P值(PHYSPROP数据库).但是,该数据库中的大多数 ...
基于三种机器学习模型的岩爆类型预测及Python实现
写在前面由于代码较多,本文仅展示部分关键代码,需要代码文件和数据可以留言然而,由于当时注释不及时,且时间久远,有些细节笔者也记不清了,代码仅供参考 0 引言岩爆是深部岩土工程施工过程中常见的一种 ...
还在随缘炼丹？一文带你详尽了解机器学习模型可解释性的奥秘
一只小狐狸带你解锁NLP/ML/DL秘籍正文来源:腾讯技术工程所谓炼丹,就是将大量灵材使用丹炉将其凝炼成丹.练成的灵丹蕴含灵材的大部分特性,方便携带,容易吸收.高级仙丹在炼制中更是能吸收天地灵气从 ...

如何提高机器学习模型预测准确率

如何提高机器学习模型预测准确率

Data Cleaning

Features Engineering

Models Trainning

如何提高机器学习模型预测准确率相关推荐

最新文章

热门文章