loss weight

Loss（损失）

与绝大多数的机器学习引擎一样，Caffe是由一个loss function（损失函数）驱动的。loss function也称为 error function，cost function或者objective function。loss function利用模型中的参数（比如模型中网络的weights-权重参数）运算得出一个（标量）结果，这个结果表明参数设置的badness，通过最小化loss function得出的badness，来优化算法，达到学习的目标。
Caffe中的loss是由Net的Forward pass计算得出的。每一个Layer根据输入的Blobs计算得到输出的Blobs。某些Layer的输出会被用于loss function计算badness。对于one-versus-all classification task（多分类问题），一个经典的loss function是SoftmaxWithLoss function（广义线性回归分析损失函数）。如下定义：

layer {name: "loss"type: "SoftmaxWithLoss"bottom: "pred"bottom: "label"top: "loss"
}

在SoftmaxWithLoss function中，输出是一个标量，计算的是预测值（pred）与实际值（label）之间的平均误差（loss）。

Loss weights（损失权重）

对于有多个Layer组成的Net而言（例如一个由SoftmaxWithLoss layer和EuclideanLoss layer组成的Net），loss weights（权重）用来表征不同Layer产生的loss的重要性。
Caffe里面的约定，Layer名称中以Loss结尾表示这是一个会产生loss的Layer，除此之外，其他的Layer只是单纯的用于中间计算。然而，任何一个Layer都可以被用于产生loss，如果为Layer产生的每一个output Blob添加一个属性：loss_weight: <float>的话。每一个Loss Layer都有一个隐含的loss weight，对于第一个top/output，loss weight是1，对于其他的top/output，loss weight是0；其他类型Layer隐含的loss weight都是0。所以上述的SoftmaxWithLoss layer也可以写成：

layer {name: "loss"type: "SoftmaxWithLoss"bottom: "pred"bottom: "label"top: "loss"loss_weight: 1
}

然而，反向迭代时，一个Layer可以赋予一个非零的loss weight，用于调整中间Layer产生的一些数据、参数。对于不止一个输出（top）的Layer（对应的有非零的loss weight），输出的loss是summing over all entries of the blob（对所有输出-blob的loss的和）。
Caffe最后输出的loss，是由Net中所有的loss加权得到的，如下所示（伪代码）：

loss := 0
for layer in layers:for top, loss_weight in layer.tops, layer.loss_weights:loss += loss_weight * sum(top)

loss weight相关推荐

L1/L2/smooth_l1_loss/center_loss+Dice Loss+focal loss+各种IOU loss+kl散度
一．L1/L2/smooth_l1_loss/center_loss公式与代码 1.公式 L2公式: smooth_L1公式: 2.三种函数numpy代码实现 import numpy as np i ...
收藏 | 神经网络中，设计loss function有哪些技巧?
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:AI公园知乎链接:https://www.zhihu.com/question/268105631 A ...
技术干货 | 基于MindSpore更好的理解Focal Loss
[本期推荐专题]物联网从业人员必读:华为云专家为你详细解读LiteOS各模块开发及其实现原理. 摘要:Focal Loss的两个性质算是核心,其实就是用一个合适的函数去度量难分类和易分类样本对总的损失 ...
VGG Loss的Pytorch实现
代码引自:https://github.com/bryandlee/stylegan2-encoder-pytorch/blob/master/train_encoder.py class VGGLo ...
损失函数focal loss深度理解与简单实现
本文主要从二值交叉熵损失函数出发,通过代码实现的方式,去更好地理解Focal Loss对于数据不平衡问题.难易样本问题损失是如何权衡的. 1. 首先我们给出比较官方一些的代码,具体就是mmdet中的 ...
Pytorch训练模型损失Loss为Nan或者无穷大（INF）原因
目录 1. Nan 和 INF 2.出现 Nan 和 INF 常见原因汇总 3.原因分析与解决方法 3.1.输入数据有误 3.2.学习率过高 --> 梯度爆炸进 --> Nan 3.3.损 ...
目标检测算法——YOLOv5/YOLOv7改进|将IOU Loss替换为EIOU Loss
>>>深度学习Tricks,第一时间送达<<< 论文题目:<Focal and Efficient IOU Loss for Accurate Boundin ...
损失函数（Loss Function）在实际应用中如何合理设计
目录 1 前言 2 回归(Regression)任务 2.1 均方误差MSE(mean squared error) 2.2 平均绝对误差MAE( mean absolute error) 2.3 H ...
在caffe中添加新层 L1 Loss layer
本文地址:http://blog.csdn.net/ismarvellous/article/details/79069661,转载请注明出处. 本文涉及的所有完整文件可在我的github下载. 1. ...
YOLO v1到YOLO v4（上）
YOLO v1到YOLO v4(上) 一. YOLO v1 这是继RCNN,fast-RCNN和faster-RCNN之后,rbg(RossGirshick)针对DL目标检测速度问题提出的另外一种框架 ...

loss weight

loss weight相关推荐

最新文章

热门文章