【Pytorch】对比CrossEntropyLoss与NLLLoss

CrossEntropyLoss（交叉熵损失）与NLLLoss（negative log likelihood，负对数似然损失）都是适用于分类问题，基于log似然损失，即交叉熵损失函数的实现方式，其体现了两个分布的近似程度：L(p,q)=−∑ipilog⁡qiL(p,q)=-\sum_ip_i\log q_iL(p,q)=−i∑pilogqi对于分类问题，其只在真实所属类别kkk上的编码为1，其他均为0（即one-hot编码），所以该损失函数可进一步写为：L=−Cklog⁡qkL=-C_k\log q_kL=−Cklogqk

CrossEntropyLoss和NLLLoss的区别在于：
（1）CrossEntropyLoss对输出层结果自动进行softmax概率归一化运算以及对数处理，然后再基于L=−Cklog⁡qkL=-C_k\log q_kL=−Cklogqk进行计算；
（2）NLLLoss直接计算L=−Cklog⁡qkL=-C_k\log q_kL=−Cklogqk，因此为了保证计算的正确，必须接在logsoftmax函数后面。

也就是说，在pytorch中：CrossEntropyLoss()=logsoftmax()+NLLLoss()

下面以一个例子来验证该结论：

import torch
import torch.nn as nn
output = torch.rand(3, 5)   # 随机输出的3*5未归一化结果
target = torch.tensor([0, 1, 4])   # 对应3个样本的真实分类criterion1 = nn.NLLLoss()
criterion2 = nn.CrossEntropyLoss()#　方案一：直接采用CrossEntropyLoss()
print(criterion2(output, target))# 方案二：在output后接入logsoftmax()，再计算NLLLoss()
logsoftmax = nn.LogSoftmax(dim=1)
output_logsoftmax = logsoftmax(output)
print(criterion1(output_logsoftmax, target))# 方案三：手动计算交叉熵损失函数的平均值
target_onehot = torch.zeros_like(output)
for i,j in enumerate(target):target_onehot[i][j] = 1
crossentropy = - (target_onehot * output_logsoftmax).sum()/len(target)
print(crossentropy)

结果表明，上述三种方法计算的结果是完全相同的。

此外，还有一个注意值得的细节为：作为Target的分类编码要从0开始计起。

【Pytorch】对比CrossEntropyLoss与NLLLoss相关推荐

pytorch中CrossEntropyLoss和NLLLoss的区别与联系
pytorch中CrossEntropyLoss和NLLLoss的区别与联系 CrossEntropyLoss和NLLLoss主要是用在多分类问题的损失函数,他们两个既有不同,也有不浅的联系.先分别看 ...
BCELoss、crossentropyLoss、NLLLoss的使用（pytorch）
文章目录 BCELoss 参考文档理解 demo 应用 crossentropyLoss.NLLLoss 参考文档 crossEntropyLoss NLLLoss BCELoss 用于二分类问题, ...
PyTorch学习笔记——softmax和log_softmax的区别、CrossEntropyLoss() 与 NLLLoss() 的区别、log似然代价函数...
1.softmax 函数 Softmax(x) 也是一个 non-linearity, 但它的特殊之处在于它通常是网络中一次操作. 这是因为它接受了一个实数向量并返回一个概率分布.其定义如下. 定义 ...
Pytorch损失函数torch.nn.NLLLoss()详解
在各种深度学习框架中,我们最常用的损失函数就是交叉熵(torch.nn.CrossEntropyLoss),熵是用来描述一个系统的混乱程度,通过交叉熵我们就能够确定预测数据与真是数据之间的相近程度.交 ...
pytorch几种损失函数CrossEntropyLoss、NLLLoss、BCELoss、BCEWithLogitsLoss、focal_loss、heatmap_loss
分类问题常用的几种损失,记录下来备忘,后续不断完善. nn.CrossEntropyLoss()交叉熵损失常用于多分类问题 CE = nn.CrossEntropyLoss() loss = CE( ...
[深度学习] Pytorch nn.CrossEntropyLoss()和nn.NLLLoss() 区别
nn.NLLLoss()的参数是经过logsoftmax加工的,而CrossEntropyLoss的是原始输出数据 target = torch.tensor([1, 2]) entropy_out ...
Pytorch CrossEntropyLoss和NLLLoss
NLLloss class torch.nn.NLLLoss(weight=None, size_average=True) 作用:训练一个n类的分类器参数 weight:可选的,应该是一个tens ...
pytorch nn.CrossEntropyLoss
应用概念讲解 1)假设有m张图片,经过神经网络后输出为m*n的矩阵(m是图片个数,n是图片类别),下例中: m=2,n=2既有两张图片,供区分两种类别比如猫狗.假设第0维为猫,第1维为狗 impor ...
PyTorch nn.CrossEntropyLoss() dimension out of range (expected to be in range of [-1, 0], but got 1)
import torch import torch.nn as nn loss_fn = nn.CrossEntropyLoss() # 方便理解,此处假设batch_size = 1 x_input ...

【Pytorch】对比CrossEntropyLoss与NLLLoss

【Pytorch】对比CrossEntropyLoss与NLLLoss相关推荐

最新文章

热门文章