1、相关概念

1.1 模型的容量

模型的容量或表达能力，是指模型拟合复杂函数的能力。模型容量的指标为模型的假设空间(Hypothesis Space)大小，即模型可以表示的函数集的大小。假设空间越大越完备，从假设空间中搜索出逼近真实模型的函数也就越有可能；反之，如果假设空间非常受限，就很难从中找到逼近真实模型的函数。
过大的假设空间会增加搜索难度和计算代价，在有限的计算资源的约束下，挑选合适容量的学习模型是一个很大的难题。

1.2 过拟合

当模型的容量过大时，网络模型除了学习到训练集数据的模态之外，还把额外的观测误差也学习进来，导致学习的模型在训练集上面表现较好，但是在未见的样本上表现不佳，也就是模型泛化能力偏弱，这种现象叫作过拟合(Overfitting)。

1.3 欠拟合

当模型的容量过小时，模型不能够很好地学习到训练集数据的模态，导致训练集上表现不佳，同时在未见的样本上表现也不佳，这种现象叫作欠拟合(Underfitting)。

.

2、正则化

通过设计不同层数、大小的网络模型可以为优化算法提供初始的函数假设空间，但是模型的实际容量可以随着网络参数的优化更新而产生变化。以多项式函数模型为例：

上述模型的容量可以通过

神经网络：关于模型拟合相关基础学习相关推荐

Aod-net代码相关基础学习
PyTorch中文文档 The Python Imaging Library Handbook(PIL) numpy.asarray() Pyorch之numpy与torch之间相互转换 Torch ...
【Jenkins相关基础学习】
一.安装maven服务 1.下载maven安装包 2.本地上传maven压缩包到服务器也可以用wget命令下载 wget https://mirrors.tuna.tsinghua.edu.cn/a ...
DL：深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介.基础知识(神经元/感知机.训练策略.预测原理).算法分类.经典案例应用之详细攻略目录深度学习(神经网络)的简介 1.深度学习浪潮兴起的三大因素深度学习(神经网络 ...
神经网络基础学习总结
神经网络基础学习总结一.基本认识神经网络(nn),有建立在它之上的许多类型.卷积神经网络,循环神经网络等等,常用于视觉图像处理领域的是卷积神域网络(cnn). LeNet:是一种的用于处理手写数字 ...
python 内存溢出能捕获吗_从0基础学习Python (19)[面向对象开发过程中的异常（捕获异常～相关）]...
从0基础学习Python (Day19) 面向对象开发过程中的=>异常什么是异常当程序在运行过程中出现的一些错误,或者语法逻辑出现问题,解释器此时无法继续正常执行了,反而出现了一些错误的 ...
【QT 5 学习笔记-学习绘图相关+画线图形等+绘图事件+基础学习（1）】
[QT 5 学习笔记-学习绘图相关+画线图形等+绘图事件+基础学习(1)] 1.说明 2.实验环境 3.参照学习链接 4.自己的学习与理解 5.学习与实践代码. (1)建立基础工程. (2)加入绘图事 ...
基于SKF基础学习相关知识梳理（一）
基于SKF基础学习知识梳理 (一)对称密码算法 1.PKCS填充方式 2.PKCS填充分类 (一)对称密码算法 // 分组密码参数 typedef struct Struct_BLOCKCIPHERP ...
【QT 5 学习笔记-学习绘图相关+画图形图片等+绘图设备+基础学习（2）】
[QT 5 学习笔记-学习绘图相关+画图形图片等+绘图设备+基础学习(2)] 1.说明 2.实验环境 3.参照连接 4.自己的学习与理解 5.学习与实践代码 (1)移动图片测试实验 (1)继续之前的工 ...
思维导图学习—LINUX相关基础思维导图（3）
思维导图学习-LINUX相关基础思维导图(3) 目录思维导图学习-LINUX相关基础思维导图(3) 操作系统简介 linux 学习与入门 linux基本操作 linux基本命令集 Linux内核源码 ...

神经网络：关于模型拟合相关基础学习