前言

本篇的交叉验证法（Cross-Validation）和下篇的自助法（bootstrap）都是重采样方法（resampling methods）。重采样方法指重复地从训练集中选取数据进行拟合，以得到拟合模型的更多信息。交叉验证法可以用于评估测试误差或者选取合适的灵活度（flexibility），自助法多用于评估参数估计的准确性。本篇讲的是交叉验证法，包括校验集方法（The Validation Set Approach），留一法（Leave-One-Out Cross-Validation），k折交叉验证（k-Fold Cross-Validation）

校验集方法

交叉验证法指的是将观测数据随机地分成训练集（training set）和校验集（validation set）两部分。训练集用于拟合模型，校验集用于测试拟合模型的效果好坏。

校验集方法的优点是概念简单，容易实施。缺点主要有两点：

由于划分的随机性，校验集上得到的测试误差估计，可能会有很高的差异
只有一部分数据用于训练，可能高估测试误差。

留一法

留一法同样将观测数据分为训练集和校验集两部分，但是有两点不同：一个是只有一个数据用于校验集，其余数据用于训练集。还有一个不同是，假如有 nnn 个观测数据，留一法重复进行了 nnn 次校验集方法的操作，每次的校验集均不相同，可以得到 nnn 个 MSEMSEMSE。
用留一法得到的对测试 MSEMSEMSE 的估计可以用下式表示:
CV(n)=1n∑i=1nMSEiCV_{(n)}=\frac{1}{n}\sum_{i=1}^nMSE_iCV(n)=n1i=1∑nMSEi
留一法的优点是

采用平均，得到的偏差很小
没有不确定性，总是得到一个固定的数值

留一法的缺点是

在 nnn 很大的情况下，计算量大
在偏差方差权衡中，可能有较高的方差

k折交叉验证

k折交叉验证将观测数据随机地分成大小差不多的 kkk 组，首先将第一组作为校验集，其余 k−1k-1k−1 组作为训练集，得到一个 MSE1MSE_1MSE1；然后将第二组作为校验集，其余 k−1k-1k−1 组作为训练集，得到一个 MSE2MSE_2MSE2；重复操作，得到一组 MSE1,MSE2,⋯,MSEkMSE_1,MSE_2,\cdots,MSE_kMSE1,MSE2,⋯,MSEk。
用k折交叉验证得到的对测试 MSEMSEMSE 的估计可以用下式表示:
CV(n)=1k∑i=1kMSEiCV_{(n)}=\frac{1}{k}\sum_{i=1}^kMSE_iCV(n)=k1i=1∑kMSEi
可以看到，留一法是 k=nk=nk=n 的特殊情况。实际问题中，kkk通常选取为 555或者 101010 。
k折交叉验证的优点是

便于计算
在偏差方差权衡中，方差较小

ISLR读书笔记八：交叉验证法（Cross-Validation）相关推荐

【超参数寻优】交叉验证（Cross Validation）超参数寻优的python实现：多参数寻优
[超参数寻优]交叉验证(Cross Validation)超参数寻优的python实现:多参数寻优一.网格搜索原理二.网格搜索+交叉验证用于多参数寻优的python实现 1.训练模型及待寻优参数 ...
R语言构建xgboost模型：交叉验证（cross validation）训练xgboost模型，配置自定义的损失函数评估函数并使用交叉验证训练xgboost模型
R语言构建xgboost模型:交叉验证(cross validation)训练xgboost模型,配置自定义的损失函数(loss function).评估函数(evaluation function) ...
R语言构建xgboost模型：交叉验证（cross validation）训练xgboost模型
R语言构建xgboost模型:交叉验证(cross validation)训练xgboost模型目录
python可视化多个机器学习模型在训练集(train set)上交叉验证（cross validation）的AUC值、可视化模型效能
python可视化多个机器学习模型在训练集(train set)上交叉验证(cross validation)的AUC值.可视化模型效能 # 所有的模型中填写的参数都是通过randomsearchcv ...
R使用交叉验证（cross validation）进行机器学习模型性能评估
R使用交叉验证(cross validation)进行机器学习模型性能评估目录 R使用交叉验证(cross validation)进行机器学习模型性能评估
交叉验证（cross validation）是什么？K折交叉验证(k-fold crossValidation)是什么？
交叉验证(cross validation)是什么?K折交叉验证(k-fold crossValidation)是什么? 交叉验证(cross validation)是什么? 交叉验证是一种模型的验 ...
Keras训练神经网络进行分类并进行交叉验证（Cross Validation）
Keras训练神经网络进行分类并进行交叉验证(Cross Validation) 交叉验证是在机器学习建立模型和验证模型参数时常用的办法.交叉验证,顾名思义,就是重复的使用数据,把得到的样本数据进行切 ...
通过交叉验证（Cross Validation）KFold绘制ROC曲线并选出最优模型进行模型评估、测试、包含分类指标、校准曲线、混淆矩阵等
通过交叉验证(Cross Validation,CV)KFold绘制ROC曲线并选出最优模型进行模型评估.测试.包含分类指标.校准曲线.混淆矩阵等 Cross Validation cross val ...
【超参数寻优】交叉验证（Cross Validation）超参数寻优的python实现：单一参数寻优
[超参数寻优]交叉验证(Cross Validation)超参数寻优的python实现:单一参数寻优一.交叉验证的意义二.常用的交叉验证方法 1.Hold one method 2.K-flod ...

ISLR读书笔记八：交叉验证法（Cross-Validation）

交叉验证法（Cross-Validation）

前言

校验集方法

留一法

k折交叉验证

ISLR读书笔记八：交叉验证法（Cross-Validation）相关推荐

最新文章

热门文章