梳理L1、L2与Smooth L1

关于L1、L2的范数、损失函数和正则化，之前一直混淆这几个概念，故对这几天看过的资料进行了学习总结。

范数(norm)是数学中的一种基本概念。在泛函分析中，它定义在赋范线性空间中，并满足一定的条件，即①非负性；②齐次性；③三角不等式。它常常被用来度量某个向量空间（或矩阵）中的每个向量的长度或大小。

首先以L2范数为例对范数做一个简单的说明：

L2范数:

假设 X X X是n维的特征 X = ( x 1 , x 2 , x 3 , … , x n ) X=(x_1,x_2,x_3,…,x_n) X=(x1,x2,x3,…,xn)

则L2范数： ∥ X ∥ 2 = ∑ i = 1 n x i 2 \left \|X\right \|_2=\sqrt{\sum_{i=1}^{n}x_i^2} ∥X∥2=∑i=1nxi2

一、作为损失函数

本部分内容大多来源于回归损失函数1：L1 loss, L2 loss以及Smooth L1 Loss的对比。

公式对比

L 1 L_1 L1
- 公式： L 1 = ∣ f ( x ) − Y ∣ L_1=\left|f(x)-Y\right| L1=∣f(x)−Y∣
- 求导： L 1 ′ = ± f ′ ( x ) L'_1=\pm{f'(x)} L1′=±f′(x)
L 2 L_2 L2
- 公式： L 2 = ∣ f ( x ) − Y ∣ 2 L_2=\left |f(x)-Y\right |^2 L2=∣f(x)−Y∣2
- 求导： L 2 ′ = 2 f ′ ( x ) ( f ( x ) − Y ) L'_2=2f'(x)(f(x)-Y) L2′=2f′(x)(f(x)−Y)
S m o o t h L 1 Smooth\;L_1 SmoothL1
- 公式：
  
  S m o o t h L 1 = { 0.5 ( f ( x ) − Y ) 2 if ∣ f ( x ) − Y ∣ < 1 ∣ f ( x ) − Y ∣ − 0.5 if f ( x ) − Y < − 1 o r f ( x ) − Y > 1 Smooth\;L_1=\begin{cases} 0.5(f(x)-Y)^2 & \text{ if } \left|f(x)-Y\right|<1 \\ \left|f(x)-Y\right|-0.5 & \text{ if } f(x)-Y<-1\; or\;f(x)-Y>1 \end{cases} SmoothL1={0.5(f(x)−Y)2∣f(x)−Y∣−0.5 if ∣f(x)−Y∣<1 if f(x)−Y<−1orf(x)−Y>1
- 求导：
  
  S m o o t h L 1 ′ = { f ′ ( x ) ( f ( x ) − Y ) if ∣ f ( x ) − Y ∣ < 1 ± 1 if f ( x ) − Y < − 1 o r f ( x ) − Y > 1 Smooth\;L'_1=\begin{cases} f'(x)(f(x)-Y) & \text{ if } \left|f(x)-Y\right|<1 \\ \pm 1 & \text{ if } f(x)-Y<-1\; or\;f(x)-Y>1 \end{cases} SmoothL1′={f′(x)(f(x)−Y)±1 if ∣f(x)−Y∣<1 if f(x)−Y<−1orf(x)−Y>1

上述三个函数的图像对比如下：

L1 Loss

L1 Loss即平均绝对误差（Mean Absolute Error,MAE) ，是指模型预测值

梳理L1、L2与Smooth L1相关推荐

目标检测回归损失函数——L1、L2、smooth L1
一. L1 Loss 1. 函数特性 L1 Loss也称为平均绝对值误差(MAE),是指模型预测值f(x)和真实值y之间绝对差值的平均值,公式如下: 其中和分别表示第个样本的预测值及相应真实值, ...
目标检测中的BBox 回归损失函数-L2，smooth L1，IoU，GIoU，DIoU，CIoU，Focal-EIoU，Alpha-IoU，SIoU
目标检测的两个任务,分类和位置回归,本帖将经典的位置回归损失函数总结如下,按发表时间顺序. L1.L2.smooth L1 loss 提出smooth L1 loss的论文: L1最低点是不可导的,所 ...
L1、L2、smooth L1三类损失函数
一.常见的MSE.MAE损失函数 1.1 均方误差.平方损失均方误差(MSE)是回归损失函数中最常用的误差,它是预测值与目标值之间差值的平方和,其公式如下所示: 下图是均方根误差值的曲线分布,其中最 ...
【Smooth L1 Loss】Smooth L1损失函数理解
文章目录 1 引言 2 L1 Loss 3 L2 Loss 4 Smooth L1 Loss 5 曲线对比分析 6 参考链接 1 引言目标检测任务的损失函数由Classificition Loss和 ...
手推公式带你轻松理解L1/L2正则化
文章目录前言 L1/L2正则化原理从数学的角度理解L1/L2正则化从几何的角度理解L1/L2正则化 L1/L2正则化使用情形前言 L1/L2正则化的目的是为了解决过拟合,因此我们先要明白什么是 ...
【回归损失函数】L1（MAE）、L2（MSE）、Smooth L1 Loss详解
1. L1 Loss(Mean Absolute Error,MAE) 平均绝对误差(MAE)是一种用于回归模型的损失函数.MAE 是目标变量和预测变量之间绝对差值之和,因此它衡量的是一组预测值中的平 ...
【AI面试】L1 loss、L2 loss和Smooth L1 Loss，L1正则化和L2正则化
损失函数是深度学习模型优化的一个灵魂基础,所以无论是很新的transform模型,还是比较早期的AlexNet,都不可避免的要涉及到损失函数的设计和应用. 所以,各种形形色色的损失函数(Loss)也就 ...
L1、L2正则化以及smooth L1 loss
一.L1.L2正则化当样本特征很多,而样本数相对较少时,学习过程很容易陷入过拟合.为了缓解过拟合问题,可以对损失函数加入正则化项.正则化项中的Lp范数有很多,常见的有L1范数和L2范数. 给定 ...
目标检测——Faster R_CNN使用smooth L1作为bbox的回归损失函数原因
目标检测--Faster R_CNN使用smooth L1作为bbox的回归损失函数原因前情提要-- 网上关于目标检测框架--faster r_cnn有太多太好的博文,这是我在组会讲述faster ...

梳理L1、L2与Smooth L1

一、作为损失函数

公式对比

L1 Loss

梳理L1、L2与Smooth L1相关推荐

最新文章

热门文章