周志华《机器学习》课后习题解答系列(三):Ch2 - 模型评估与选择
本章概要
本章讲述了模型评估与选择(model evaluation and selection)的相关知识:
2.1 经验误差与过拟合(empirical error & overfitting)
精度accuracy、训练误差(经验误差)training error(empirical error)、泛化误差**generalization error、过拟合**overfitting、欠拟合underfitting;
2.2 模型评估方法(evaluate method)
测试误差testing error、留出法hold-out、分层采样stratified sampling、交叉验证法cross validation、k-折交叉验证**k-fold cross validation、留一法leave-one-out(LOO)、自助法bootstrapping、自助采样bootstrap sampling、包外估计out-of-bag estimate、调参**parameter tuning、验证集validation set;
2.3 模型性能度量(performance measure)
错误率error rate、查准率(准确率)precision、查全率(召回率)recall、P-R曲线、平衡点BEP、F1/Fβ、混淆矩阵、ROC曲线、AUC、代价敏感cost-sensitive、**代价矩阵**cost matrix、代价曲线cost curve、期望总体代价;
2.4 模型比较检验(comparation & testing)
假设检验hypothesis test、拒绝假设、t-检验t-test、Friedman检验、后续检验post-hoc test、Friedman检验图;
2.5 偏差与方差(bias & variance)
偏差-方差窘境bias-variance dilemma;
习题解答
2.1 分层抽样划分训练集与测试集
根据分层采样原则,共有方法:
.
2.2 留一法与k-折交叉验证法比较
因为测试集被划分到训练样本中多的类,设一共100个样本:
留一法:测试集1个样本,训练集99个样本且有50个与测试集真实类别不同,故测试集无法被划分到正确的类,错误率100%;
交叉验证法:在采用分层抽样的前提下,分类靠随机猜,错误率因为50%;
2.3 F1值与BEP的关联
首先给出度量定义:
BEP:是P-R曲线上的平衡点坐标值,BEP = P = R (即准确率 = 召回率);
F1值:是P与R的调和平均,1/F1 = (1/P + 1/R) / 2;
所以 BEP = F1 (当P = R时) -> BEP(A) > BEP(B).
2.4 TPR、FPR、P、R之间的关联
给出混淆矩阵示例如下:
然后给出各度量的定义式:
详细解释是:
- P,查准率(准确率),(预测正例)中(真实正例)的比例.
- R,查全率(召回率),(真实正例)中(预测正例)的比例.
- TPR,真正例率,(真实正例)中(预测正例)的比例,TPR = R.
- FPR,假正例率,(真实反例)中(预测正例)的比例.
2.5 AUC推导(有限样例下)
直接给出大致思路如下图:
2.6 错误率与ROC曲线的关系
错误率可由代价-混淆矩阵得出;
ROC曲线基于TPR与FPR表示了模型在不同截断点取值下的泛化性能。
ROC曲线上的点越靠近(1,0)学习器越完美,但是常需要通过计算等错误率来实现P、R的折衷,而P、R则反映了我们所侧重部分的错误率。
2.7 ROC曲线与代价曲线的对应关系
ROC曲线的点对应了一对(TPR,FPR),即一对(FNR,FPR),由此可得一条代价线段(0,FPR)–(1,FNR),由所有代价线段构成簇,围取期望总体代价和它的边界–代价曲线。所以说,ROC对应了一条代价曲线,反之亦然。
2.8 ROC曲线与代价曲线的关系
比较见表:
Max-min | z-score |
---|---|
方法简单 | 计算量相对大一些 |
容易受高杠杆点和离群点影响 | 对离群点敏感度相对低一些 |
当加入新值超出当前最大最小范围时重新计算所有之前的结果 | 每加入新值都要重新计算所有之前结果 |
2.9 卡方检验过程
可直接参考:卡方检验 - 百度百科
周志华《机器学习》课后习题解答系列(三):Ch2 - 模型评估与选择相关推荐
- 周志华机器学习课后习题解析【第二章】
作者 | 我是韩小琦 链接 | https://zhuanlan.zhihu.com/p/42435889 2.1 数据集包含 1000 个样本,其中 500 个正例. 500 个反例,将其划分为包含 ...
- bp神经网络代码_机器学习(周志华)课后习题——第五章——神经网络
5.1 试述将线性函数 用作神经元激活函数的缺陷. 答: 使用线性函数作为激活函数时,无论是在隐藏层还是在输出层(无论传递几层),其单元值(在使用激活函数之前)都还是输入 的线性组合,这个时候的神经网 ...
- 西瓜书(周志华)课后习题答案
目录 第一章 绪论 http://blog.csdn.net/icefire_tyh/article/details/52065224 第二章 模型评估与选择 http://blog.csdn.net ...
- 周志华机器学习--绪论
周志华机器学习–绪论 第一章 绪论 第二章 模型评估与选择 第三章 线性模型 第四章 决策树 第五章 支持向量机 第六章 神经网络 第七章 贝叶斯分类器 第八章 集成学习和聚类 文章目录 周志华机器学 ...
- 周志华机器学习-决策树
周志华机器学习-决策树 第一章 绪论 第二章 模型评估与选择 第三章 线性模型 第四章 决策树 第五章 支持向量机 第六章 神经网络 第七章 贝叶斯分类器 第八章 集成学习和聚类 文章目录 周志华机器 ...
- 周志华机器学习-支持向量机
周志华机器学习-支持向量机 第一章 绪论 第二章 模型评估与选择 第三章 线性模型 第四章 决策树 第五章 支持向量机 第六章 神经网络 第七章 贝叶斯分类器 第八章 集成学习和聚类 – 文章目录 周 ...
- 【吃瓜教程】周志华机器学习西瓜书第三章答案
线性模型结构梳理 3.1 试析在什么情形下式3.2中不必考虑偏置项b 答案一: 偏置项b在数值上代表了自变量取0时,因变量的取值: 1.当讨论变量x对结果y的影响,不用考虑b: 2.可以用变量归一化( ...
- 周志华机器学习:决策树
决策树 文章目录 决策树 参考 基本流程 划分选择 信息增益 决策树的生成--ID3,及其问题 增益率 决策树生成 --C4.5,及其问题 剪枝处理 预剪枝和后剪枝 统计学习方法中的剪枝 CART算法 ...
- 周志华-机器学习西瓜书-第三章习题3.3 编程实现对率回归
本文为周志华机器学习西瓜书第三章课后习题3.3答案,编程实现对率回归,数据集为书本第89页的数据 使用tensorflow实现过程 # coding=utf-8 import tensorflow a ...
- 周志华机器学习(西瓜书)学习笔记(持续更新)
<周志华机器学习>笔记 第1章 绪论 1.1 引言 1.2 基本术语 1.3 假设空间 1.4 归纳偏好 1.5 发展历程 1.6 应用现状 第2章 模型评估与选择 2.1 经验误差与过拟 ...
最新文章
- 【实习招聘】字节跳动智能创作AutoML团队招聘
- Excel ,三步 快速实现应用一个公式到一列或一行中
- HDOJ 1082 模拟 水
- CALayer 一些简单的小例子
- 什么是滚雪球法的抽样方法?(Snowball sampling、snowballing approach)
- 算法训练 未名湖边的烦恼
- MarkDown编辑器常用语法
- linux真实地址是什么意思,linux – 如何为发件人地址配置真实域名
- 如何获取android源码
- mysql insert ignore into 与replace 避免重复插入
- python实现在线答题_python实现用户答题功能
- 在线绘制GO、Pathway富集结果弦图
- wps重复上一步快捷键_Wps重复命令快捷键
- 使用Aircrack-ng和RT3070无线网卡破解WIFI密码
- 私有化单机题库管理软件“题库管家”1.3版本正式发布,windows版与mac版下载地址
- 一维数组与二维数组的区别
- Kaggle 注册问题
- 计算机专业29岁博士毕业,已经29岁了想去读博士晚不晚?
- 网易2018校园招聘第3题
- 第三方API接口对接-电子合同的实现逻辑
热门文章
- 解析url地址的函数
- LibQQt系列之七《用例截图、ScreenShot》
- 你的“差不多”,其实差很多
- CountDownLatch与CyclicBarrier
- 呼叫中心技术概述 (转)
- 打印杨辉三角 (20 分)
- 涵子来信——AI的无限未来——谈谈想法
- 从键盘上输入一个学生的成绩: 如果成绩在小于0或大于100,则显示“输入数据有误”; 如果成绩在0~59分,则输出“成绩为不及格”; 如果成绩在60~69分,则输出“成绩为及格”; 如果成绩在
- 如何提高自己的阅读能力和理解能力?
- Windows系统的MBR磁盘分区--MBR的结构和作用(一)