损失函数定义及常用损失函数

2024-06-25 20:45:03

损失函数定义

损失函数（Loss function）是用来估量你模型的预测值 f(x)f(x) 与真实值 YY 的不一致程度，它是一个非负实值函数，通常用 L(Y,f(x))L(Y,f(x)) 来表示。损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数的重要组成部分。模型的风险结构包括了风险项和正则项，通常如下所示：

$\theta =argmin\frac{1}{N} \sum_{i=1}^{N}L(yi,f(xi,\theta ))+\lambda \Phi (\theta )$

其中，前面的均值函数表示的是经验风险函数，LL代表的是损失函数，后面的 ΦΦ 是正则化项（regularizer）或者叫惩罚项（penalty term），它可以是L1，也可以是L2，或者其他的正则函数。整个式子表示的意思是找到使目标函数最小时的θ值。

常用损失函数

常见的损失误差有五种：
1. 铰链损失（Hinge Loss）：主要用于支持向量机（SVM）中；
2. 互熵损失（Cross Entropy Loss，Softmax Loss ）：用于Logistic 回归与Softmax 分类中；
3. 平方损失（Square Loss）：主要是最小二乘法（OLS）中；
4. 指数损失（Exponential Loss） ：主要用于Adaboost 集成学习算法中；
5. 其他损失（如0-1损失，绝对值损失）

损失函数定义及常用损失函数相关推荐

学点基本功：机器学习常用损失函数小结
(图片付费下载自视觉中国) 作者 | 王桂波转载自知乎用户王桂波 [导读]机器学习中的监督学习本质上是给定一系列训练样本 ,尝试学习的映射关系,使得给定一个 ,即便这个不在训练样本中,也能够得 ...
一文看懂机器学习中的常用损失函数
作者丨stephenDC 编辑丨zandy 来源 | 大数据与人工智能(ID: ai-big-data) 导语:损失函数虽然简单,却相当基础,可以看做是机器学习的一个组件.机器学习的其他组件,还包括激 ...
深度学习常用损失函数总览：基本形式、原理、特点
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:王桂波,来源:极市平台机器学习中的监督学习本质上是给定一系列训练 ...
实操教程｜Pytorch常用损失函数拆解
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者 | 小新来源 | https://lhyxx.top 编辑 ...
机器学习常用损失函数总览：基本形式、原理、特点
来源:七月在线实验室本文约4300字,建议阅读9分钟. 本文将介绍机器学习.深度学习中分类与回归常用的几种损失函数. 机器学习中的监督学习本质上是给定一系列训练样本 ,尝试学习的映射关系,使得给 ...
机器学习常用损失函数小结
作者:王桂波转载自:https://zhuanlan.zhihu.com/p/77686118 整理:HealthAI 上一篇文章我们看到了目标函数,损失函数,和代价函数的区别.在该部分我们来看一看 ...
六个深度学习常用损失函数总览：基本形式、原理、特点
来源:极市平台本文共4500字,建议阅读8分钟本文将介绍机器学习.深度学习中分类与回归常用的几种损失函数. 机器学习中的监督学习本质上是给定一系列训练样本 ,尝试学习的映射关系,使得给定一个 ...
常用损失函数（L1、L2、SSIM和MS-SSIM）对比简介
https://research.nvidia.com/publication/loss-functions-image-restoration-neural-networks 常用损失函数(L1.L ...
常用损失函数（Loss Function）
[深度学习]一文读懂机器学习常用损失函数(Loss Function) 最近太忙已经好久没有写博客了,今天整理分享一篇关于损失函数的文章吧,以前对损失函数的理解不够深入,没有真正理解每个损失函数的特点 ...

最新文章

热门文章