机器学习提纲模型评估和选择

【只是提纲，不完整，有空更新】

1.错误率、精度。

2.误差：学习器的实际预测输出和真实输出的差异。学习器在训练集上的误差称为训练误差或者经验误差。在新样本上的误差称为泛化误差。由于新样本是未知的，我们实际能做的是最小化经验误差。

3.经验误差为0是不是我们的目标呢？当然不是！这样就发生了过拟合。

过拟合（overfitting）：很可能把一些属于样本自身的特点学习到了，当作所有潜在样本的一般性质，泛化能力下降。

欠拟合（underfitting）：对训练样本的一般特性尚未学好。

4.过拟合可否消除？当然不可能！只能缓解。ML的问题大多是NP-hard问题，而有效的学习算法必然是在多项式时间内完成，如果认为可以避免过拟合，那也就意味着经验误差最小化获得最优解，也就是说构造性地证明了P=NP。

5.模型选择（Model Selection）：不同参数、不同学习算法就会有不同模型。那我们要如何选择呢？

6.模型评估：

主要思想：将数据集分成训练集S和测试集T。

主要方法：

（a）留出法（hold-out）：将数据集D划分成两个互斥集合S和T。注意点：

1）采用分层抽样（stratified sampling）。让正样本和负样本在S和T的比例大致相同，保持数据分布的一致性，避免数据划分引入额外偏差。

2）重复实验取平均值。由于集合划分有多种，单次使用留出法的结果往往不可靠，因此采用多次随机划分、多次实验评估取平均值作为评估结果。

3）一般采用1/3-1/5的样本作为测试集。

（b）交叉验证（cross validation）：将数据集D划分成k个大小相似的互斥子集，每次选择其中1个作为测试集T，剩余k-1个作为训练集，这样就有了k组训练/测试集，将k次的评估结果的平均值作为评估结果。注意点：

1）k值关系到结果的保真性和稳定性。k通常取10，称为k折交叉验证（k-fold cross validation）。

2）与留出法相似，通常也多次随机划分、多次实验评估取平均值作为评估结果。

c）自助法

7.混淆矩阵

8.查全率、查准率

9.二分类问题的性能比较

1）包住

2）BEP（Break-even Point）平衡点

3）F1度量

4） $F_{\beta}$ 度量

（未完待续）

参考资料：周志华《机器学习》

机器学习提纲模型评估和选择相关推荐

[机器学习]1模型评估与选择
模型评估与选择目录文章目录模型评估与选择目录第二章模型评估与选择评估方法性能度量比较检验第二章模型评估与选择评估方法对数据集D产生训练集S和测试集T的方法: 留出法直接划分 ...
【机器学习】模型评估与选择（实战）
模型评估与选择(实战) 目录一.准备工作(设置 jupyter notebook 中的字体大小样式等) 二.数据集读取与查看三.交叉验证实验 1.划分数据集并置乱 2.设计交叉验证实验 3.进行训 ...
【机器学习】模型评估与选择--西瓜书第二章
2.1 经验误差与过拟合 2.2 评估方法 2.3 性能度量 2.5 偏差与方差 2.1 经验误差与过拟合错误率(error rate):分类错误的样本占总样本的比率精度(accuracy):分类 ...
Python机器学习之模型评估及选择
1. 评估方法 1.回归:RMSE(平方根误差).MAE(平均绝对误差).MSE(平均平方误差).Coefficient of determination (决定系数R2). MAPE(平均绝对百分误 ...
机器学习笔记(二)模型评估与选择
2.模型评估与选择 2.1经验误差和过拟合不同学习算法及其不同参数产生的不同模型,涉及到模型选择的问题,关系到两个指标性,就是经验误差和过拟合. 1)经验误差错误率(errorrate):分类错误 ...
《机器学习》 —— 第二章：模型评估与选择学习笔记
2.1 经验误差与过拟合把分类错误的样本数占样本总数的比例称为"错误率"(error rate),即如果在m个样本中有a个样本分类错误,则错误率E=a/m:相应的,1-a/m称为 ...
机器学习中的不平衡分类方法(part2)--模型评估与选择
学习笔记,仅供参考,有错必纠参考自:<机器学习中的不平衡分类方法>-- 康琦,吴启迪文章目录模型评估与选择训练误差与测试误差过拟合与欠拟合模型选择评估方法模型评估与选择训 ...
机器学习（周志华）- 第2章模型评估与选择笔记
转自: https://samanthachen.github.io/2016/08/03/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0_%E5%91%A8%E5%BF%9 ...
周志华《机器学习初步》模型评估与选择
周志华 <机器学习初步>模型评估与选择 Datawhale2022年12月组队学习 ✌ 文章目录周志华 <机器学习初步>模型评估与选择一.泛化能力二.过拟合和欠拟合泛化 ...

机器学习提纲模型评估和选择

机器学习提纲模型评估和选择相关推荐

最新文章

热门文章

机器学习提纲 模型评估和选择

机器学习提纲 模型评估和选择相关推荐

最新文章

热门文章

机器学习提纲模型评估和选择

机器学习提纲模型评估和选择相关推荐