Triplet Loss笔记

在有监督学习中，一般都有固定数量的类别。通常我们可以用Softmax结合Cross Entropy Loss来做分类。

在监督学习中，会有变化数量的类别，这个时候我们可以用Triplet Loss来表征。

Triplet Loss需要有三个对象，一个anchor（基准），一个positive（正例），一个negative（负例）。Triplet Loss的目标是使具有相同label的样本在embedding空间尽可能地近，使不同label的样本尽可能地远。

Loss的具体计算方式为 $L = max(d_p + d_n +margin,0)$ 。

根据 $d_p$ 和 $d_n$ 的距离，Triplet可以被分为三种类型：

Easy Triplet
Hard Triplet
Semi-hard Triplet

采样Triplet的方法有两种：Offline Triplet Mining和Online Triplet Mining

Offline的方法是在每个epoch前计算所有的embedding，并挑选出hard和semi-hard triplet进行训练。
Online的方法是对于每个batch，动态的计算有用的triplet。当给定的batch大小为时，我们最多可以找到个triplets。（比如当时，有27种可能。a，p，n都有三种可能。）其中，只有有两个相同label，一个不同label的triplet才是有效的。
- batch all：batch all的方法是挑选出所有合规的triplet。当batch size为 $B = PK$ 时（ $P$ 个人，每个人 $K$ 张图片。）那么一共会有 $PK(K-1)(PK-K)$ 个合规的triplets。
- batch hard：对于每个anchor，挑选出距离最远的正例和距离最近的负例。这样会产生 $PK$ 个triplets。

主要参考:

深度学习从入门到放飞自我：完全解析triplet loss - 知乎 (zhihu.com)

Triplet Loss笔记相关推荐

Person Re-Identiﬁcation by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function 阅读笔记
Person Re-Identiﬁcation by Multi-Channel Parts-Based CNN with Improved Triplet Loss Function 阅读笔记此篇 ...
机器学习笔记：triplet loss
1 Triplet loss Triplet Loss,即三元组损失,其中的三元是Anchor.Negative.Positive. 通过Triplet Loss的学习后使得Positive元和Anc ...
论文笔记3 --（ReID）In Defense of the Triplet Loss for Person Re-Identification
<In Defense of the Triplet Loss for Person Re-Identification> 论文:https://arxiv.org/abs/1703.07 ...
Triplet Loss: A Unified Embedding for Face Recognition and Clustering（论文阅读笔记）（2015CVPR）
论文链接:<FaceNet: A Unified Embedding for Face Recognition and Clustering> 摘要尽管人脸识别领域最近取得了重大进展[1 ...
三元组损失（Triplet loss）
来源:Coursera吴恩达深度学习课程在人脸识别中,我们希望学习"输入两张人脸图片,然后输出相似度"的函数d,然后Siamese 网络(Siamese network)实现了这 ...
Torch 中添加自己的 nn Modules：以添加 Dropout、 Triplet Loss 为例
Preface 因为要复现前面阅读的一篇论文:<论文笔记:Deep Relative Distance Learning: Tell the Difference Between Similar ...
Triplet loss 源码解析
2021最后一天,赶紧学习一手吧.由于 Triplet loss 很重要,而代码不复习又很容易忘,这里记录一下. 代码在这里:https://github.com/VisualComputingIns ...
一文理解Ranking Loss/Margin Loss/Triplet Loss
点击蓝字关注我们作者丨土豆@知乎来源丨https://zhuanlan.zhihu.com/p/158853633 本文已获授权,未经作者许可,不得二次转载. 前言 Ranking loss在 ...
三元组损失 Triplet Loss及其梯度
Triplet Loss及其梯度 Triplet Loss及其梯度_jcjx0315的博客-CSDN博客 Triplet Loss简介我这里将Triplet Loss翻译为三元组损失,其中的三元也就 ...

Triplet Loss笔记

Triplet Loss笔记相关推荐

最新文章

热门文章