Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021

文章目录

Contrast Learning Visual Attention for Multi Label Classification-CVPR Submitted on 24 Jul 2021
前言
一、摘要
二、method
- 1.input
- 2.contrastive learning
- 3.Learning MulCon with Contrastive Loss
三、实验
总结

前言

学习该篇论文讲了什么内容，学习method

一、摘要

在完全监督下提出一种新颖的多标记分类框架，该框架在不同标签的上下文中学习图像的多种表示。

二、method

1.input

original input images

Label-Level Embedding Network的input： $x_i$ 表示一个图片，output： $\in \mathbb{R}^{L \times D}$ 表示根据 $L$ 个标签，即每一行对应于图像在特定标签的上下文下的嵌入.
该网络运行步骤：
1）采用CNN进行特征提取

2）introduce a set of vectors $\in \mathbb{R}^{L \times C}$ ,其中每一行都是特定于标签的嵌入。 $U$ 用正态分布随机初始化，是训练期间要学习的参数。
3)提出了第三个组成部分来捕获基于多头注意力的 $r_i$ 和 $U$ 之间的交互,是一个多头注意力机制。

2.contrastive learning

给定 $2 N$ 个实例的minibatch $I = {1...2N}$ 和一个锚实例 $\in I$ ， $i$ 的增强版本，表示为 $i_a ∈ I$ 被认为是正样本，其他 $2 (N - 1)$ 个实例在 minibatch 中被认为是负面的例子。
自监督损失：两个图片的向量点乘，然后softmax。这里没有用到监督
$\in \mathbb{R}^+$ 是一个标量参数， $A(i)=I\ziA(i) =I \backslash z_i$ 。
反斜杠" $\\backslash$ "是一种集合运算符号，集合U和A的相对差集，符号为U \ A，是在集合U中，但不在集合A中的所有元素，相对差集{1，2，3} \ {2，3，4} 为{1} ，而相对差集{2，3，4} \ {1，2，3} 为{4} 。
监督损失：利用标签信息来选择正样本和负样本。

其中 $P (i)$ 是 $z_i$ 的正集，它包含小批量中与 $z_i$ 相同标签的所有其他样本， $∣ P (i) ∣$ 是它的基数。

3.Learning MulCon with Contrastive Loss

其中，参数 $γ\gamma$ 控制两个损失之间的权衡。

通过求得 $g (i)$ ，step1经过一个线性变换，得到损失；step2 通过contrastive learning 得到另一个损失。

三、实验

实验数据
two benchmark datasets： MS-COCO和NUS-WIDE
在MS-COCO数据集上：

总结

在目前的多标签学习上可以运用该文中的对比学习来增加标签与对特定特征的关系。拥有同一个标签的样本进行点乘来表示损失。来增强分类效果。

Contrastive learning的学习相关推荐

Supervised Contrastive Learning（学习笔记）
Supervised Contrastive Learning NeurlPS2020 原文链接: https://arxiv.org/pdf/2004.11362v4.pdf b站讲解视频: htt ...
Seeking Patterns, Not just Memorizing Procedures：Contrastive Learning for Solving MWP翻译
摘要数学单词问题(MWP)求解需要发现自然语言描述中的数值关系.最近的工作表明,现有模型通过从上下文中记住答题过程,并依靠浅启发式方法来求解MWP.在本文中,我们研究了这个问题,并认为其原因是模型对 ...
【层级多标签文本分类】Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchic
Incorporating Hierarchy into Text Encoder: a Contrastive Learning Approach for Hierarchical Text Cla ...
从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)
从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering) 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailug ...
对比学习（Contrastive Learning）综述
A.引入 https://zhuanlan.zhihu.com/p/346686467 A.引入深度学习的成功往往依赖于海量数据的支持,其中对于数据的标记与否,可以分为监督学习和无监督学习. 1 ...
对比学习系列论文SDCLR（二）-Self-Damaging Contrastive Learning
目录 0.Abstract 0.1逐句翻译 0.2总结 1. Introduction 1.1. Background and Research Gaps 1.1.1逐句翻译第一段(引出对比学习是否 ...
对比学习（Contrastive Learning）相关进展梳理
©PaperWeekly 原创 · 作者|李磊学校|西安电子科技大学本科生研究方向|自然语言处理最近深度学习两巨头 Bengio 和 LeCun 在 ICLR 2020 上点名 Self-Su ...
理解对比表示学习(Contrastive Learning)
目录一.前言二.对比学习三.主要论文(附代码分析) 1. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 2019 ...
自步对比学习（Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID）
自步对比学习(Self-paced Contrastive Learning with Hybrid Memory for Domain Adaptive Object Re-ID) 简介文章来源 ...
对比学习（Contrastive Learning）中的损失函数
文章目录写在前面一.Info Noise-contrastive estimation(Info NCE) 1.1 描述 1.2 实现二.HCL 2.1 描述 2.2 实现三.文字解释四.代 ...

Contrastive learning的学习