周志华《机器学习》之第十二章（计算学习理论）概念总结

2024-06-30 04:44:10

看到12章，题目叫计算学习理论，当时一萌，这是干什么用的呢？前面的章节中基本都是讲述了一些机器学习的一些常用方法。看到这个标题我的第一反应应该是理论方面的研究，那是否对计算与学习这两方面的理论研究呢？既然是理论的东西，我想对于一般应用机器学习算法的来说，可能意义不大吧！但是我个人认为有可能也可以指导我们进行算法设计。周老师数据对计算学习理论这么描述的，（是关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计）

1、基础知识

独立同分布样本：
泛化误差：
令hh 为从XX到YY的一个映射，其泛化误差为

E(h;D)=Px−D(h(x)≠y)

E(h;{\cal D}) = P_{x-{\cal D}}(h({\bf x}) \not= y)
hh在DD上的经验误差为

E^(h;D)=1m∑i=1mⅡ(h(xi≠yi))

\hat{E}(h;D) = \frac 1m \sum^m_{i=1} Ⅱ(h({\bf x}_i \not= y_i))
如果 DD是D{\cal D}的独立同分布采样，因此 h<script type="math/tex" id="MathJax-Element-1169">h</script>的经验误差的期望等于其泛化误差。
因此本章就主要研究经验误差与泛化误差之间的逼近程度。

2、PAC学习

概率近似正确（PCA）

3、有限假设空间

4、VC维

5、Rademacher复杂度

6、稳定性

周志华《机器学习》之第十二章（计算学习理论）概念总结相关推荐

机器学习(周志华) 参考答案第十四章概率图模型 14.9
机器学习(周志华西瓜书) 参考答案总目录 http://blog.csdn.net/icefire_tyh/article/details/52064910 机器学习(周志华) 参考答案第十四章 ...
周志华-机器学习西瓜书-第三章习题3.3 编程实现对率回归
本文为周志华机器学习西瓜书第三章课后习题3.3答案,编程实现对率回归,数据集为书本第89页的数据使用tensorflow实现过程 # coding=utf-8 import tensorflow a ...
【吃瓜教程】周志华机器学习西瓜书第三章答案
线性模型结构梳理 3.1 试析在什么情形下式3.2中不必考虑偏置项b 答案一: 偏置项b在数值上代表了自变量取0时,因变量的取值: 1.当讨论变量x对结果y的影响,不用考虑b: 2.可以用变量归一化( ...
机器学习（周志华）第十二章计算学习理论
关于周志华老师的<机器学习>这本书的学习笔记记录学习过程本博客记录Chapter12 文章目录 1 基础知识 2 PAC学习 3 有限假设空间 3.1 可分情形 3.2 不可分情形 4 ...
《机器学习》周志华学习笔记第十四章概率图模型（课后习题）python实现
一.基本内容 1.隐马尔可夫模型 1.1. 假定所有关心的变量集合为Y,可观测变量集合为O,其他变量集合为R, 生成式模型考虑联合分布P(Y,R,O),判别式模型考虑条件分布P(Y,R|O),给定一组 ...
周志华机器学习（西瓜书）学习笔记（持续更新）
<周志华机器学习>笔记第1章绪论 1.1 引言 1.2 基本术语 1.3 假设空间 1.4 归纳偏好 1.5 发展历程 1.6 应用现状第2章模型评估与选择 2.1 经验误差与过拟 ...
周志华机器学习--绪论
周志华机器学习–绪论第一章绪论第二章模型评估与选择第三章线性模型第四章决策树第五章支持向量机第六章神经网络第七章贝叶斯分类器第八章集成学习和聚类文章目录周志华机器学 ...
周志华机器学习：决策树
决策树文章目录决策树参考基本流程划分选择信息增益决策树的生成--ID3,及其问题增益率决策树生成 --C4.5,及其问题剪枝处理预剪枝和后剪枝统计学习方法中的剪枝 CART算法 ...
《机器学习》周志华课后习题答案——第三章 (1-7题)
<机器学习>周志华课后习题答案--第三章 (1-7题) 文章目录 <机器学习>周志华课后习题答案--第三章 (1-7题) 一.试析在什么情形下式(3.2)中不必考虑偏置项b. ...
周志华机器学习--模型评估与选择
周志华机器学习–模型评估与选择第一章绪论第二章模型评估与选择第三章线性模型第四章决策树第五章支持向量机第六章神经网络第七章贝叶斯分类器第八章集成学习和聚类文章目录周 ...

最新文章

热门文章