点击关注我哦

一篇文章带你了解pytorch中常用的损失函数

Q：什么是损失函数？

训练神经网络类似于人类的学习方式。我们将数据提供给模型，它可以预测某些内容，并告诉其预测是否正确。然后，模型纠正其错误。该模型会重复执行此操作，直到达到我们确定的特定精度水平为止。告诉模型预测错误是正确学习的关键。这是损失函数出现的地方。它告诉模型其估计与实际值相差多远。与人交流虽然比较容易，但要告诉机器，我们需要一种媒介。本篇文章主要介绍常用的几种“媒介”的原理、含义及使用场景。

1.L1范数损失

torch.nn.L1Loss，用来测量平均绝对误差。

其中x是实际值，y是预测值。

含义：

它测量估计值和实际值之间的绝对值，也是错误度量的最简单形式。该误差的值越低，模型越好。我们不能期望它的值为零，因为它可能实际上没有用。总体比较适合处理简单的问题。

使用场景：

+回归问题

+简化模型

+由于神经网络通常用于处理复杂问题，因此很少使用此功能。

2. 均方误差损失 MSELoss

torch.nn.MSELoss，用来测量均方误差（平方L2范数）。

其中x是实际值，y是预测值。

含义：

预测值与实际值之差的平方，换个方式理解：模型会放大较大的损失，并且激励较小的损失。例如：如果分类器的实际差值为200，则错误为40000；如果分类器实际差值为0.1，则错误为0.01。

使用场景：

+回归问题。

+数值特征不大。

+问题不是很高的尺寸。

3. 平滑版L1损失 SmoothL1Loss

torch.nn.SmoothL1Loss，也称为Huber 损失函数，由下式给出：

含义：

如果绝对误差低于1，则使用平方项，否则使用绝对项。它对离群值的敏感性不如均方误差损失，并且在某些情况下可以防止爆炸梯度。在均方误差损失中，我们对差进行平方，得出的差值远大于原始差值。这些高值导致爆炸的梯度。此处避免这种情况，因为对于大于1的数字，数字不平方。

使用场景：

+回归。

+当 要素具有较大的值时。

+非常适合大多数问题。

4. 负对数似然损失 NLLLoss

torch.nn.NLLLoss

负对数似然损失：

含义：

它使数据的整体概率最大化。当它以较小的概率预测正确的类别时，会对模型进行惩罚，而在以较高的概率进行预测时，则对模型进行激励。对数在这里起到惩罚作用。概率越小，对数越高。这里使用负号是因为概率在[0，1]范围内，并且该范围内的值的对数是负数。因此，它使损失值是正的。

使用场景：

+ 分类。

+更快，更小的培训。

+简单的任务。

5. 交叉熵损失 CrossEntropyLoss

torch.nn.CrossEntropyLoss，用来测量预测值和实际值之间的交叉熵。

其中x是真实标签的概率，y是预测标签的概率。

含义：

使用交叉熵作为损失函数可以用来学习数据的概率分布。虽然其他损失函数（如平方损失）会惩罚错误的预测，但是当以高置信度预测错误的预测时，交叉熵会带来更大的损失。与负对数似然损失的区别在于：交叉熵还会惩罚错误但可信的预测以及正确但不太可信的预测，而负对数损失不会根据预测的可信度进行惩罚。

使用场景：

+分类任务

+为了建立自信的模型，即模型不仅可以准确预测，而且还可以更高的概率进行预测。

+获得更高的精度/召回值。

6. Kullback-Leibler散度损失 KLDivLoss

torch.nn.KLDivLoss，其给出了两个概率分布如何彼此不同的度量。

其中x是真实标签的概率，y是预测标签的概率。

含义：

这与交叉熵损失非常相似。区别是预测概率与实际概率之间的差异。这将在模型训练中添加有关信息丢失的数据。预测概率分布离真实概率分布越远，损失越大。它不会像交叉熵损失那样基于预测的置信度对模型进行惩罚，但是预测与地面真实情况有何不同。它通常优于均方误差，尤其是在数据不是正态分布的情况下。交叉熵得到更广泛使用的原因是可以将其分解为交叉熵的函数。最小化交叉熵与最小化KL散度相同。

KL = — xlog（y / x）= xlog（x）— xlog（y）=熵—交叉熵

使用场景：

+ 分类

+交叉熵可以通过较少的计算来实现，因此请避免使用。

7. MarginRankingLoss

torch.nn.MarginRankingLoss，它测量给定输入x1，x2和带有值（1或-1）的标签张量y的损耗。如果y == 1，则假定第一个输入的排名应高于第二个输入，反之亦然。

含义：

分类器的预测y基于输入x1和x2的排名。假设余量的默认值为0，如果y和（x1-x2）具有相同的符号，则损失将为零。这意味着x1 / x2的排名更高（对于y = 1 / -1），正如数据所期望的那样。如果y和（x1-x2）具有相反的符号，则损耗将是y *（x1-x2）给出的非零值。尽管在Pytorch中使用它的方式尚不清楚，但与其他损失函数相比，还没有太多的开源实现和示例。

使用场景：

+ GAN。

+排名任务。

8. HingeEmbeddingLoss

torch.nn.HingeEmbeddingLoss，在输入张量x和包含值（1或-1）的标签张量y的情况下测量损耗。它用于测量两个输入是否相似。

含义：

分类器的预测y基于输入x的值。假设裕度的默认值为1，如果y = -1，那么损失将最大为0和（1 — x）。如果x > 0损耗将是x本身（较高的值），如果0 < x <1损耗将是1 — x（较小的值），并且如果x <0损耗将是0（最小值）。对于y = 1，损耗与x的值一样高。

使用场景：

+学习非线性嵌入

+半监督学习

+要测量两个输入的相似性或相异性。

9. cosine 损失 CosineEmbeddingLoss

torch.nn.CosineEmbeddingLoss，它测量给定输入x1，x2和包含值（1或-1）的标签张量y的损耗。它用于测量两个输入是否相似。

含义：

分类器的预测y基于输入x1和x2的余弦距离。余弦距离是指两点之间的角度。通过使用点乘积可以很容易地找到它：

由于余弦介于-1和+ 1之间，损耗值较小。这有助于计算。假设margin为默认值0，如果y = 1，则损失为（1-cos（x1，x2））。对于y = -1，则损耗将最大为0和cos （x1，x2）。如果cos （x1，x2） > 0，则损耗将是cos （x1，x2）本身（较高的值），如果cos （x1，x2） <0，则损耗将为0（最小值）。

使用场景：

+学习非线性嵌入

+半监督学习

+要测量两个输入的相似性或相异性。

·  END  ·

HAPPY LIFE