Focal loss：

精辟的介绍Focal loss

Focal loss主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。

Focal loss做了什么：

在二分类交叉熵前面加了权重，而权重由输出的概率经过是一些计算得到，最终实现概率小的loss比较大，优化力度大，概率大的loss偏小，从而对于比较多的简单背景给小的loss，让少学习简单样本，多学习复杂样本。

但Focal loss比较麻烦的就是有两个超参数，调起来比较麻烦。

GHM：（Gradient Harmonizing Mechanism）梯度均衡机制

研究者对样本不均衡的本质影响进行了进一步探讨，找到了梯度分布这个更为深入的角度，并以此入手改进了单阶段检测器的训练过程。

在单阶段检测器的训练中，简单样本的数量非常大，它们产生的累计贡献就在模型更新中就会有巨大的影响力甚至占据主导作用，而由于它们本身已经被模型很好的判别，所以这部分的参数更新并不会改善模型的判断能力，也就使整个训练变得低效。

基于这一点，研究者对样本梯度的分布进行了统计，并根据这个分布设计了一个梯度均衡机制（Gradient Harmonizing mechanism），使得模型训练更加高效与稳健，并可以收敛到更好的结果（实验中取得了好于 Focal Loss 的表现）。

由于梯度均衡本质上是对不同样本产生的梯度进行一个加权，进而改变它们的贡献量，而这个权重加在损失函数上也可以达到同样的效果，此研究中，梯度均衡机制便是通过重构损失函数来实现的。

Focal Loss 本质上是对简单样本进行相对的抑制，越简单的样本受抑制的程度越大，这一点和 GHM-C 所做的均衡是十分相似的。此外，GHM-C 还对一些离群样本进行了相对的抑制，这可以使得模型训练更具稳定性。

关于GHM比较好的解读：

https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/86581671

GHM------Gradient Harmonized Single-stage Detector 从梯度的方向来解决样本不均衡的问题相关推荐

目标检测——梯度均衡机制GHM(Gradient Harmonized Mechanism)的理解
论文:Gradient Harmonized Single-stage Detector 论文地址:Gradient Harmonized Single-stage Detectorhttps://a ...
目标检测--Accurate Single Stage Detector Using Recurrent Rolling Convolution
Accurate Single Stage Detector Using Recurrent Rolling Convolution CVPR 2017 商汤科技关于目标检测的文献 Code: htt ...
寻找解决样本不均衡方法之Focal Loss与GHM
寻找解决样本不均衡方法之Focal Loss与GHM 主要参考资料:5分钟理解Focal Loss与GHM--解决样本不平衡利器 - 知乎 (zhihu.com) Focal Loss的引入主要是为了 ...
论文精读:GHM:Gradient Harmonized Single-stage Detector
Abstract 尽管两级探测器取得了巨大的成功,但单级探测器仍然是一种更加优雅和有效的方法,但在训练过程中存在两种众所周知的不和谐,即正负例子和硬性例子在数量上的巨大差异.在这项工作中,我们首先指出 ...
OHEM,Focal loss,GHM loss二分类pytorch代码实现(减轻难易样本不均衡问题)
https://mp.weixin.qq.com/s/iOAICJege2b0pCVxPkvNiA 综述:解决目标检测中的样本不均衡问题该综述主要介绍了OHEM,Focal loss,GHM los ...
论文阅读三：GHM《Gradient Harmonized Single-stage Detector》
论文链接:Gradient Harmonized Single-stage Detector 论文来自香港中文大学一.论文出发点我们都知道,one-stage检测器一个极大的问题就是easy ...
GHM：Gradient Harmonized Single-stage Detector
本文针对目标检测中分布不均衡问题,提出了一个梯度均衡策略改善模型性能,被AAAI2019收录为oral. 论文下载:https://arxiv.org/abs/1811.05181v1 github代 ...
Gradient Harmonized Single-stage Detector
参考 Gradient Harmonized Single-stage Detector - 云+社区 - 腾讯云摘要虽然两级检测器取得了巨大的成功,但是单级检测器仍然是一种更加简洁和高效的方法 ...
#Paper Reading# Gradient Harmonized Single-stage Detector
论文题目: Gradient Harmonized Single-stage Detector 论文地址: https://www.aaai.org/ojs/index.php/AAAI/articl ...

GHM------Gradient Harmonized Single-stage Detector 从梯度的方向来解决样本不均衡的问题

Focal loss：

GHM：（Gradient Harmonizing Mechanism）梯度均衡机制

GHM------Gradient Harmonized Single-stage Detector 从梯度的方向来解决样本不均衡的问题相关推荐

最新文章

热门文章