多标签分类的Focal loss设计

多标签分类中存在类别不平衡的问题，想要尝试用focalloss损失函数，但是网上很少有多标签分类的损失函数设计，终于在kaggle上别人做的keras下的focalloss中举例了多标签问题：
Focalloss for Keras
代码和例子如下：

Focal loss主要思想是这样：在数据集中，很自然的有些样本是很容易分类的，而有些是比较难分类的。在训练过程中，这些容易分类的样本的准确率可以达到99%，而那些难分类的样本的准确率则很差。问题就在于，那些容易分类的样本仍然在贡献着loss，那我们为什么要给所有的样本同样的权值？
这正是Focal loss要解决的问题。focal loss减小了正确分类的样本的权值，而不是给所有的样本同样的权值。这和给与训练样本更多的难分类样本时一样的效果。在实际中，当我们有数据不均衡的情况时，我们的多数的类别很快的会训练的很好，分类准确率很高，因为我们有更多的数据。但是，为了确保我们在少数类别上也能有很好的准确率，我们使用focal loss，给与少数类别的样本更高的权值。focal loss使用Keras是很容易实现的：

from keras import backend as K
import tensorflow as tfdef KerasFocalLoss(target, input):gamma = 2.input = tf.cast(input, tf.float32)max_val = K.clip(-input, 0, 1)loss = input - input * target + max_val + K.log(K.exp(-max_val) + K.exp(-input - max_val))invprobs = tf.log_sigmoid(-input * (target * 2.0 - 1.0))loss = K.exp(invprobs * gamma) * lossreturn K.mean(K.sum(loss, axis=1))# 这个例子就是多标签的情况
Y_true = np.array([[0, 1, 0, 1, 0], [1, 0, 1, 0, 1]])
Y_pred = np.array([[0.1, 0.2, 0.3, 0.4, 0.5], [0.6, 0.7, 0.8, 0.9, 1]], dtype=np.float32)
print(K.eval(KerasFocalLoss(Y_true, Y_pred)))

当然文章里面还拓展了一下pytorch的focalloss设计，这里不搬运了。
这个代码里面没有加入alpha权重，我想实现一下：

使用FL可以改善单个类别中正负样本的不平衡，提高难挖掘样本的分类精度，计算每个类别的权重W。使阳性病例数越多的疾病，权重越小，以平衡各类别之间的数据倾斜程度。因此，使用W和FL的乘积作为最终的损失函数，可以同时解决单类正负样本不平衡和多类数据偏斜的问题。

#多标签版本
from tensorflow.keras import backend as K
import tensorflow as tf
import numpy as npdef KerasFocalLoss(target, input, Num):#Num为样本数量gamma = 2.input = tf.cast(input, tf.float32)max_val = K.clip(-input, 0, 1)loss = input - input * target + max_val + K.log(K.exp(-max_val) + K.exp(-input - max_val))invprobs = tf.compat.v1.log_sigmoid(-input * (target * 2.0 - 1.0))loss = K.exp(invprobs * gamma) * lossW = 1/np.log(Num)W = tf.cast(W, tf.float32)we_loss = tf.compat.v1.matmul(loss, W)return K.mean(K.sum(we_loss, axis=1))

多标签分类的Focal loss设计相关推荐

pytorch多标签分类交叉熵loss
import torch import numpy as np def multilabel_categorical_crossentropy(y_true, y_pred):"" ...
从loss的硬截断、软化到Focal Loss
对于二分类模型,我们总希望模型能够给正样本输出1,负样本输出0,但限于模型的拟合能力等问题,一般来说做不到这一点.而事实上在预测中,我们也是认为大于0.5的就是正样本了,小于0.5的就是负样本.这样就 ...
（HEM/OHEM）hard negative（example）mining难例挖掘与focal loss、GHM损失函数
目录分类任务中的样本不均衡及hard negative mining的必要性 hard negative example HEM(hard example/negative mining) 与 OH ...
RetinaNet论文详解Focal Loss for Dense Object Detection
一.论文相关信息 1.论文题目:Focal Loss for Dense Object Detection 2.发表时间:2017 3.文献地址:https://arxiv.org/pdf ...
CE Loss，BCE Loss以及Focal Loss的原理理解
一.交叉熵损失函数(CE Loss,BCE Loss) 最开始理解交叉熵损失函数被自己搞的晕头转向的,最后发现是对随机变量的理解有偏差,不知道有没有读者和我有着一样的困惑,所以在本文开始之前,先介绍一 ...
RetinaNet+focal loss
one stage 精度不高,一个主要原因是正负样本的不平衡,以YOLO为例,每个grid cell有5个预测,本来正负样本的数量就有差距,再相当于进行5倍放大后,这种数量上的差异更会被放大. 文中提 ...
多标签分类之非对称损失-Asymmetric Loss
论文:Asymmetric Loss For Multi-Label Classification GitHub:https://github.com/Alibaba-MIIL/ASL https:/ ...
【CV】RetinaNet：使用二分类类别不平衡损失 Focal Loss 实现更好的目标检测
论文名称:Focal Loss for Dense Object Detection 论文下载:https://arxiv.org/abs/1610.02357 论文年份:ICCV 2017 论文被引 ...
Focal Loss 分类问题 pytorch实现代码（简单实现）
ps:由于降阳性这步正负样本数量在差距巨大．正样本1500多个,而负样本750000多个．要用 Focal Loss来解决这个问题．首先感谢Code_Mart的博客把理论汇总了下https://bl ...

多标签分类的Focal loss设计

多标签分类的Focal loss设计相关推荐

最新文章

热门文章