惩罚项的意义-为什么有惩罚项？

从我们的假设函数，我们可以降低权重，在函数中增加一些项来增加他们的成本。

比如我们要使下面的函数二次项的权重增大：

我们要减小θ3x3和θ4x4的影响。实际上，如果不排除这些特性或改变我们假设的形式，我们可以修改我们的成本函数：

我们已经对最后的θ3和θ4增加了额外的成本。现在，为了使成本函数尽量的接近0，我们将不得不减少θ3和θ4值使他们接近零。
这将大大地减少θ3x3和θ4x4再成本函数中的开销。因此，我们看到，新的假设（由粉红色曲线的描绘）看起来像一个二次函数拟合数据，但是拟合的更好因为额外减少了θ3x3和θ4x4的值。

我们可以把所有θ规范成一个式子：

λ，是正则化参数。它决定了我们θ参数的成本是多少。
对成本函数使用一个额外的开销总和，我们可以光滑我们的假设函数来降低过拟合。
如果λ的选择太大，可以光滑我们的函数造成欠拟合。
因此，如果λ= 0或太小，就会发生过拟合

转载：https://www.cnblogs.com/zhengzhe/p/7294488.html

惩罚项的意义-为什么有惩罚项？相关推荐

【大数据】六、频繁项集与关联规则（频繁项集、关联规则、A-Priori、PCY）
文章目录 1 定义 1.1 频繁项集 1.2 关联规则 2 A-Priori 算法 2.1 例题 3 更大数据集在内存中的处理 3.1 PCY 算法 3.2 多阶段算法 3.3 多哈希算法 4 有限扫 ...
泰勒公式专题拉格朗日余项与佩亚诺余项,麦克劳林公式
泰勒公式专题拉格朗日余项与佩亚诺余项,麦克劳林公式文章目录 1. 泰勒公式原理 2. 具有拉格朗日余项的泰勒公式. 3. 具有佩亚诺余项的泰勒公式 4. 麦克劳林公式 1. 泰勒公式原 ...
w ndows10怎么关闭启动项,开机启动项怎么设置？Win10启动项修改技巧
注:本教程适用于Win7.Win8.Win8.1和Win10系统 Win10电脑开机慢怎么办?其实不必要的开机启动项占了很大一部分原因,那么禁用或删除某些开机启动项就可以明显地提高电脑开机速度:而有些 ...
数组求前n项和和求中间n项和学习记录
树状数组求前n项和和求中间n项和学习记录树状数组主要是靠lowbit函数,具体的是原码反码补码巧夺天工的想法,想要了解的可以百度一下. lowbit = ()=>{return x&am ...
GB/T 34590《道路车辆功能安全第1部分：术语》等12项推荐性国家标准及1项国家标准化指导性技术文件征求意见的函
http://www.catarc.org.cn/StandardRevision/detail/2200.html 征求意见 <道路车辆功能安全第1部分:术语>等12项推荐性国家标准 ...
64位Windows系统注册表的 32 位注册表项和64 位注册表项
64 位版本 Windows 中的注册表分为 32 位注册表项和 64 位注册表项.许多 32 位注册表项与其相应的 64 位注册表项同名,反之亦然. 64 位版本 Windows 包含的默认 64 ...
win7开机启动项怎么设置电脑开机启动项在哪里设置
win7开机启动项怎么设置电脑开机启动项在哪里设置现在的软件很多安装程序都是默认的开机启动,电脑上如果软件的开机启动项多了就会使得电脑的开机速度很慢,这个时候就需要大家手动来设置开机启动项了,那电 ...
操作系统-文件管理习题详细解析：设文件索引结点中又7个地址项，其中4个地址项是直接地址索引，2个地址项是一级间接地址索引，1个地址项是二级间接索引，每个地址项大小为4B，若磁盘索引块和磁盘数据块大小均
题目:设文件索引结点中又7个地址项,其中4个地址项是直接地址索引,2个地址项是一级间接地址索引,1个地址项是二级间接索引,每个地址项大小为4B,若磁盘索引块和磁盘数据块大小均为256B,则可表示的单个 ...
程序基本算法习题解析写作业：学生需要完成几项作业，其中的每项作业都有一个提交的截止日期和完成所需的时间。若晚于截止日期，每晚一天，总分便会被减去一分。请计算此同学能在最少减去多少分......
题目: 学生需要完成几项作业,其中的每项作业都有一个提交的截止日期和完成所需的时间.若晚于截止日期,每晚一天,总分便会被减去一分.请计算此同学能在最少减去多少分的情况下完成所有作业,给出完成作业的顺序 ...

惩罚项的意义-为什么有惩罚项？

惩罚项的意义-为什么有惩罚项？相关推荐

最新文章

热门文章