机器学习中的代价函数、损失函数、风险函数、目标函数

2024-05-13 12:49:10

1 损失函数、代价函数和目标函数

本部分参考自——机器学习中的目标函数、损失函数、代价函数有什么区别？

损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。（也被称作经验风险）
目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是代价函数 + 正则化项）。代价函数最小化，降低经验风险，正则化项最小化降低。

1.1 损失函数与代价函数

The loss function computes the error for a single training example; the cost function is the average of the loss funcitons of the entire training set. — — Andrew NG

根据NG的解释可以得出结论：损失函数（loss function）是单个样本的训练误差，而代价函数（cost function）是所有样本损失函数的期望。

1.2 常见的损失函数

损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。下面介绍几种常用的损失函数。

1. 0-1 损失函数（0-1 Loss Function）
最直观的损失函数是模型在训练集上的错误率，即0-1 损失函数：
L(y,f(x))={1,y≠f(x)0,y=f(x)=I(y≠f(x))(1-1)\begin{aligned} L(y, f(x)) &= \begin{cases} 1, & {y \neq f(x) } \\ 0, & {y = f(x)} \end{cases} \\&= I(y\not=f(x)) \end{aligned}\tag{1-1}L(y,f(x))={1,0,y=f(x)y=f(x)=I(y=f(x))(1-1)
其中 I(⋅)I(\cdot)I(⋅) 是指示函数即当预测错误时，损失函数为1，当预测正确时，损失函数值为0。该损失函数不考虑预测值和真实值的误差程度。只要错误，就是1。

虽然 0-1 损失函数能够客观地评价模型的好坏，但其缺点是数学性质不是很好：不连续且导数为0，难以优化.。因此经常用连续可微的损失函数替代。

2. 平方损失函数（Quadratic Loss Function）
平方损失函数经常用在预测标签

机器学习中的代价函数、损失函数、风险函数、目标函数相关推荐

一文看懂机器学习中的常用损失函数
作者丨stephenDC 编辑丨zandy 来源 | 大数据与人工智能(ID: ai-big-data) 导语:损失函数虽然简单,却相当基础,可以看做是机器学习的一个组件.机器学习的其他组件,还包括激 ...
机器学习中的常见问题—损失函数
机器学习中的常见问题--损失函数一.分类算法中的损失函数在分类算法中,损失函数通常可以表示成损失项和正则项的和,即有如下的形式: J(w)=∑iL(mi(w))+λR(w)J(w)=∑iL(mi( ...
机器学习中的各种损失函数（Hinge loss，交叉熵，softmax）
机器学习中的各种损失函数 SVM multiclass loss(Hinge loss) 这是一个合页函数,也叫Hinge function,loss 函数反映的是我们对于当前分类结果的不满意程度.在 ...
机器学习中常见的损失函数_机器学习中最常见的损失函数
机器学习中常见的损失函数现实世界中的DS (DS IN THE REAL WORLD) In mathematical optimization and decision theory, a los ...
机器学习中SVM的损失函数,向量积
SVM即支持向量机(Support Vector Machine, SVM) 是一类按监督学习(supervised learning)方式对数据进行二元分类的广义线性分类器(generalized ...
机器学习中常见的损失函数和代价函数
损失函数 (loss function) 是用来估量在一个样本点上模型的预测值 h(x) 与真实值 y 的不一致程度.它是一个非负实值函数,通常使用 L(y, h(x)) 来表示. 损失函数可由 y ...
入门|机器学习中常用的损失函数你知多少？
本文作者将常用的损失函数分为了两大类:分类和回归.然后又分别对这两类进行了细分和讲解,其中回归中包含了一种不太常见的损失函数:平均偏差误差,可以用来确定模型中存在正偏差还是负偏差. 机器通过损失函数进 ...
机器学习中常见的损失函数
常见的损失函数:https://zhuanlan.zhihu.com/p/58883095
机器学习中常见的损失函数及其应用场景
一.对于分类问题以二分类为例,y∈{+1,−1}y \in \{+1,-1\}y∈{+1,−1},损失函数通常表示为 yf(x)yf(x)yf(x) 的递减函数.我们希望 sign(f(xi,θ)) ...

最新文章

热门文章