吃瓜教程task01 第2章 模型评估与选择
第二章 模型评估与选择
2022/5/15 雾切凉宫 至2.3.3节
2.1 经验误差与过拟合
| 中文名 | 英文名 | 意义 |
|---|---|---|
| 训练误差/经验误差 | training error/empirical error | 学习器在训练集的误差 |
| 泛化误差 | generalization error | 在新样本上的误差 |
| 过拟合 | overfitting | 学习能力过于强大 |
| 欠拟合 | underfitting | 学习能力低下 |
2.2 评估方法
通过实验测试来对学习器的泛化误差进行评估
2.2.1 留出法
留出法(hold-out)直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S,另一个作为测试集T,即D= SUT, S∩T=0.在S上训
练出模型后,用T来评估其测试误差，作为对泛化误差的估计。
2.2.2 交叉验证法
“交叉验证法”(cross validation)先将数据集D划分为k个大小相似的互斥子集。每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到。然后，每次用k-1个子集的并集作为训练集，余下的那个子集作为测试集;这样就可获得k组训练/测试集，从而可进行k次训练和测试，通常把交叉验证法称为“k折交叉验证”(k-fold cross validation)。k最常用的取值是10，此时称为10折交叉验证;其他常用的k值
有5、20等。
2.2.3 自助法
“自助法”(bootstrapping)以自助采样法(bootstrap sampling)为基础(Efron and Tibshirani, 1993]. 给定包含m个样本的数据集D,我们对它进行采样产生数据集D:每次随机从D中挑选一个样本，将其拷贝放入D’，然后再将该样本放回初始数据集D中，使得该样本下次采样时仍有可能被采到；这个过程重复执行m次后，我们就得到了包含m个样本的数据集D’，这就是自助采样的结果。
自助法在数据集较小、难以有效划分训练/测试集时很有用。
2.2.4 调参与最终模型
大多数学习算法都有些参数(parameter)需要设定，参数配置不同，学得模型的性能往往有显著差别，因此，在进行模型评估与选择时，除了要对适用学习算法进行选择，还需对算法参数进行设定，这就是通常所说的“参数调节”或简称“调参”(parameter tuning).
2.3 性能度量
2.3.1错误率与精度
错误率是分类错误的样本数占样本总数的比例；
精度则是分类正确的样本数占样本总数的比例。
2.3.2查准率、查全率与F1
与错误率、精度等的区别个人感觉类似概率论中的条件概率。
对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例TP(true positive)、 假正例FP(false positive)、 真反例TN(true negative)、假反例FN(false negative)四种情形，则显然有TP+ FP+TN+ FN =1样例总数。分类结果的“混淆矩阵”(confusion matrix)如表2.1所示。
查准率P和查全率R是一对矛盾的度量。故我们需要**“平衡点”(Break- Even Point, 简称BEP)**，它是“查准率P=查全率R”时的取值。
但平衡点BEP还是过于简化了些，更常用的是F1度量:
带偏好的F1度量：（β >0表示查全率R对查准率P的相对重要性）
P.S. β> 1时查全率R有更大影响; β< 1时查准率P有更大影响.
吃瓜教程task01 第2章 模型评估与选择相关推荐
- 吃瓜教程task01 第1章 绪论
第一章 绪论 2022/5/15 雾切凉宫 1.2 基本术语 中文名 英文名 意义 数据集 data set 一组记录的集合 示例/样本/特征向量 instance/sample/feature ve ...
- 机器学习总结之第二章模型评估与选择
[第2章 模型评估与选择] [一.知识点归纳] 一.经验误差与过拟合 [分类]:对是离散值的结果进行预测. [回归]:对是连续值的结果进行预测. 分类和回归属于监督学习. [错误率]:分类错误的样本数 ...
- 西瓜书第二章 模型评估与选择
第2章 模型评估与选择 2.1 经验误差与过拟合 学习器在训练集上的误差称为"训练误差"或"经验误差",在新样本上的误差称为"泛化误差":过 ...
- 【读书笔记】周志华 机器学习 第二章 模型评估和选择
第二章 模型评估和选择 1 欠拟合和过拟合 偏差和方差 1.1 欠拟合和过拟合 1.2 偏差和方差 2 评估方法 性能度量 2.1 评估方法 2.1.1 留出法 2.2.2 交叉验证法 2.2.3 自 ...
- 机器学习【西瓜书/南瓜书】--- 第2章模型评估与选择（上）（学习笔记+公式推导）
目录 前言 2.1 经验误差与过拟合 2.2 评估方法 2.2.1 留出法(hode−outhode-outhode−out) 2.2.2 交叉验证法(crossvalidationcross val ...
- 小吴的《机器学习 周志华》学习笔记 第二章 模型评估与选择
小吴的<机器学习 周志华>学习笔记 第二章 模型评估与选择 上一周我们介绍了第一章的基础概念,这一次将带来第二章的前三节.后面的2.4 比较检验与2.5 偏差与方差,涉及概率论与数理统计概 ...
- 《机器学习》周志华 第二章——模型评估与选择笔记
<机器学习>周志华 第二章--模型评估与选择 过拟合和欠拟合 过拟合:对训练数据拟合过当的情况,训练集表现很好,测试集表现差. 欠拟合:模型在训练和预测时都表现不好. 降低过拟合的方法: ...
- 吃瓜教程task02 第3章 线性模型
第三章 线性模型 2022/5/16 雾切凉宫 至3.2节/视频P3 文章目录 第三章 线性模型 3.1 基本形式 3.2 线性回归 P2 一元线性回归 P2.1 最小二乘法 P2.2 极大似然估计 ...
- 吃瓜教程——第1,2章
第1章 :绪论 1.2基本术语 一批西瓜的数据: (色泽=青绿;根蒂=蜷缩;敲声=浊响), (色泽=乌黑;根蒂:稍蜷;敲声=沉 闷), (色泽=浅白;根蒂 硬挺;敲声=清脆), -- 每对括号内代表一 ...
最新文章
- 红茶一杯话Binder（传输机制篇_上）
- python flask解决上传下载的问题
- C#使用剪切板复制程序
- Go支持自定义数据类型：使用type来定义，类似于数据类型的一个别名
- 使用一个环境的或者半径异样消除器来进行异样消除
- 随便写写有关微软2004软件架构师峰会的个人感想（一）
- .net测试学习--理解.net测试选项
- Win10下安装LabelImg以及使用（绝对是全网最简单的教程）
- 每天一个linux命令（59）：rcp命令
- 仿百度的输入提示功能
- Luogu4438[HNOI/AHOI2018] 道路
- linux酷q运行不了,Linux上使用docker运行酷Q机器人
- 股票语音播报软件 炒股语音实时播报
- Latex如何在文本中插入数学符号
- 彩虹php域名授权系统,彩虹云域名授权系统(正版源码+教程)
- web页面左右双向箭头(利用CSS样式和图片)——20181130
- 微生物组-扩增子16S分析和可视化(2022.10)
- 莫让“浮云”遮望眼：“企业技术”才是硬道理
- 论文笔记-Monocular Depth Estimation as Regression of Classification using Piled Residual Networks
- 开源框架XWIKI搭建介绍