S5CL: Unifying Fully-Supervised,Self-supervised, and Semi-supervised Learning Through Hierarchical Contrastive Learning

摘要

通过引入S5CL将这两个阶段的训练压缩为一个阶段，S5CL是一个用于全监督、自监督和半监督学习的统一框架
为标记图像、未标记图像和伪标记图像定义了三个对比损失的情况下，S5CL可以学习反映距离关系层次的特征表示：相似的图像和增强嵌入得最近，其次是同一类的不同外观的图像，而来自不同类的图像具有最大的距离
S5CL允许灵活地组合这些损失，以适应不同的场景
代码地址

本文方法

损失函数

有监督对比损失SupconLoss：

zi为带标签的向量
zp为batch中的正例
zn为负例
za文中未找到，猜是增强的数据
Tl用于区别正例和负例
自监督对比损失类似
但是为了使相同类不同样本靠近

增加了Tu约束
区分阳性样本zi~是同一图像的不同增强版本，而负样本是不同的图像
半监督对比损失
差不多是自监督和自监督的结合，但是需要自监督迭代一段时间后
总损失

Lp是半监督损失，Lu是自监督损失，Lc是交叉熵损失，Ll是标签损失

结合结构图看

实验结果

消融实验

S5CL：通过分层对比学习统一全监督、自监督和半监督学习相关推荐

【跨模态】【对比学习】CLIP：文本监督CV的预训练(2021)
文章目录前言一.整体架构 1.训练 2.测试(迁移学习zero shot) 3.prompt engineering and ensembling 二.实验 1.few-shot与zero-sho ...
华人博士提出原型对比学习，非监督学习效果远超MoCo和SimCLR
点上方蓝字视学算法获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作分享,不代表本公众号立场,侵权联系删除转载于:新智元继MoCo和SimCLR之后非监督学习的又一里程碑!Sales ...
知识图谱-生物信息学-医学顶刊论文(Bioinformatics-2022)-SGCL-DTI：用于DTI预测的监督图协同对比学习
14.(2022.5.21)Bioinformatics-SGCL-DTI:用于DTI预测的监督图协同对比学习论文标题: Supervised graph co-contrastive learni ...
Dense Contrastive Learning for Self-Supervised Visual Pre-Training(基于密集对比学习的自我监督视觉预训练)2021
最前面是论文翻译,中间是背景+问题+方法步骤+实验过程,最后是文中的部分专业名词介绍(水平线分开,翻译word文件可以找我要,能力有限,部分翻译可能不太准确) 摘要: 迄今为止,大多数现有的自监督学习 ...
文章分享《Supervised Contrastive Learning》自监督对比学习和有监督对比学习的区别
文章题目 Supervised Contrastive Learning 作者: Prannay Khosla Piotr Teterwak Chen Wang Aaron Sarna 时间:2020 ...
【GNN报告】潘世瑞: 图自监督新范式-重新思考图对比学习
目录 1.简介 2.重新思考图对比学习大纲 GRL背景 GRL现有问题/挑战 GCL现有问题/挑战重新思考GCL 组判别-一个新范式实验结果小结讨论 3.参考 1.简介报告主题重新思考图 ...
[论文阅读]（对比学习系列）
文章目录第一阶段:百花齐放 [2018] (CVPR) INstDisc [2019] (CVPR)Unsupervised Embedding Learning via Invariant and ...
对比学习还能这样用：字节推出真正的多到多翻译模型mRASP2
AI科技评论报道作者 | 潘小小编辑 | 陈大鑫大家都知道目前研究界主流的多语言翻译模型主要在英语相关的语对上进行训练.这样的系统通常在英语相关的语向(有监督语向)上表现不错,而在非英语方向(零 ...
对比学习还能这样用：字节推出真正的多到多翻译模型mRASP2
作者 | 潘小小编辑 | 陈大鑫大家都知道目前研究界主流的多语言翻译模型主要在英语相关的语对上进行训练.这样的系统通常在英语相关的语向(有监督语向)上表现不错,而在非英语方向(零资源方向)的翻译效 ...

S5CL：通过分层对比学习统一全监督、自监督和半监督学习

文章目录