**【求助】关于抽样和标准化的问题**

抽样可划分训练集和验证集，具体到某一个连续型的数值变量，通过还要经过标准化的过程，这里以0-1标准化为例，描述了三种抽样和标准化的做法思路。这里要指出，三种思路都有问题，因此想请教更好的做法，或者目前信贷建模领域通常的做法。

第1种，总体先抽样，再将训练集和验证集分别进行标准化，问题显而易见，由训练集得出的模型，会与验证集标准化后的数据标准不一致；

第2种，总体先抽样，将训练集标准化，并以标准化后的最大值最小值应用到验证集上，这应该是目前程序种的主流做法，但问题也显而易见，训练集和验证集毕竟是两个数据集，最大值和最小值是不一样的，因此会出现验证集标准化结果超出0-1范围的情况；

第3种，总体先进行标准化，然后在进行抽样，这样的好处是避免了第2种方式的问题，训练集和验证集，在一个标准化的条件下参与建模。但问题依旧，比如新来一批数据，完全有可能在旧总体之外，那么也会出现超出0-1范围的可能。

希望不吝赐教，谢谢

【求助】关于抽样和标准化的问题相关推荐

舍选法抽样matlab,12 重要抽样法 | 统计计算
12.2 带有舍选控制的重要抽样法在重要抽样法和标准化重要抽样法的实际应用中, 好的试抽样分布很难获得, 所以权重\(\{ W_i = f(\boldsymbol X_i)/g(\boldsymbo ...
机器学习笔记-假设检验
前言假设检验是推断统计的一项重要内容,它是先对总体参数提出一个假设值,然后利用样本信息来判断这个假设是否成立.本章主要介绍了假设检验的基本原理和如何针对不同的数据集选择合适的检验方法. 假设检验 ...
pandas数据预处理(标准化归一化、离散化/分箱/分桶、分类数据处理、时间类型数据处理、样本类别分布不均衡数据处理、数据抽样)
1. 数值型数据的处理 1.1 标准化&归一化数据标准化是一个常用的数据预处理操作,目的是处理不同规模和量纲的数据,使其缩放到相同的数据区间和范围,以减少规模.特征.分布差异等对模型的影响. ...
获取pheatmap聚类后和标准化后的结果
pheatmap是简单常用的热图绘制包,可以快速.简单.可定制的绘制漂亮热图.具体见R语言学习-热图简化和免费高颜值可定制在线绘图工具 ImageGP. 现在要解决的一个问题是图出来了,想看下转换后用 ...
1183位求助者的数据画像：不是弱者，而是你我
来源:RUC新闻坊本文约为1400字,建议阅读5分钟我们利用大数据为求助者画像. 我截止到2月21日24时,根据国家卫健委的数据,新型冠状病毒肺炎的最新数字为累计报告确诊病例76288例,现有疑似 ...
R语言学习 - 热图美化（数值标准化和调整坐标轴顺序）
生物信息学习的正确姿势 NGS系列文章包括NGS基础.在线绘图.转录组分析 (Nature重磅综述|关于RNA-seq你想知道的全在这).ChIP-seq分析 (ChIP-seq基本分析流程).单细胞 ...
获取pheatmap热图聚类后和标准化后的结果
pheatmap是简单常用的热图绘制包,可以快速.简单.可定制的绘制漂亮热图.具体见R语言学习-热图简化和免费高颜值可定制在线绘图工具 ImageGP. 现在要解决的一个问题是图出来了,想看下转换后用 ...
为什么要特征标准化及特征标准化方法
1.归一化定义归一化化就是要把你需要处理的数据经过处理后(通过某种算法)限制在你需要的一定范围内.归一化的原因是什么那? 2.归一化原因一是,为了后面数据处理的方便,把不同量纲的东西放在同一量纲下 ...
国家两部委印发《智慧家庭综合标准化体系建设指南》
导读:工业和信息化部.国家标准化管理委员印发的<智慧家庭综合标准化体系建设指南>提出,到2020年初步建立符合我国智慧家庭产业发展需要的标准体系,形成基础标准较为完善.主要产品和服务标准基 ...

【求助】关于抽样和标准化的问题

【求助】关于抽样和标准化的问题相关推荐

最新文章

热门文章

**【求助】关于抽样和标准化的问题**

**【求助】关于抽样和标准化的问题**相关推荐

最新文章

热门文章

【求助】关于抽样和标准化的问题

【求助】关于抽样和标准化的问题相关推荐