对比学习的应用（LCGNN，VideoMoCo，GraphCL，XMC-GAN）
之前已经有博文整理过了对比学习的概念，比较重要且流行的文章，和一些已经有的应用（主要是基于InfoNCE等早期的手段）：
- Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam）
- 对比学习的应用（CLCaption，C-SWM，CMC，SGL））
本篇博文将继续整理一些对比学习的应用，主要是集中在MoCo和SimCLR等模型。
Label Contrastive Coding based Graph Neural Network for Graph Classification
MoCo架构。基于标签对比编码的图分类图神经网络。一般做图分类的方法也是先学图的表示，主要有两种1先算node Embedding再聚合2直接graph Embedding，然后再做图分类。但是作者认为这些方法忽略了实例级的细粒度，而实例之间的判别式信息粒度更细有利于图分类任务。
属于哦以为了更有效、更全面地利用标签信息，提出基于标签对比编码的图神经网络（LCGNN），具体来说就是利用自监督学习中提出的标签对比损失来促进实例级的类内聚合性和类间可分性。模型图如上图，基本上来说，LCGNN就是仿照的MoCo架构引入了动态标签存储库和动量更新编码器。
- 输入是key graphs和query graphs。
- Graph encoder考虑两种，1是Graph Isomorphism Network（GIN），同构图就是简单GNN然后Sum聚合。2是Hierarchical Graph Pooling with Structure Learning (HGP-SL)，它可以将图池化和结构学习结合到一个统一的模块中以生成图的层次表示。
- 后面的部分就和MoCo一致了。有一个Memory Bank，然后Momentum Update。
- 最后的loss有label constructive和classification组成。
这个设计本质上可以被认为是一种标签增强。然后将具有相同标签的实例拉近，而具有不同标签的实例将相互推开。
- paper：https://arxiv.org/abs/2101.05486
VideoMoCo: Contrastive Video Representation Learning with Temporally Adversarial Examples
来自CVPR21的文章，架构也是基于MOCO，任务是无监督视频表示学习。主要的架构如上图，也比较好理解，就是对出视频序列从两个视角改善MoCo的时间特征表示，如上图的ab或者cd，其中一个视角是通过丢弃帧来完成的，主要涉及到：
- 生成器。在时间上删除几个帧，且是自适应地丢弃不同的帧，这通过时间衰减来完成。
- 鉴别器。完成特征表示，无论帧移除如何。
然后对两个view进行类似MoCo的对比学习。即使用时间衰减来模拟内存队列中的键（key）衰减，其中动量编码器在键进入后进行更新，当使用当前输入样本进行对比学习时，这些键的表示能力会下降。这种下降通过时间衰减反映出来，以使输入样本进入队列中的最近键。
- paper：https://arxiv.org/abs/2103.05905
- code：https://github.com/tinapanpt/VideoMoCo
Graph Contrastive Learning with Augmentations
上一篇是MoCo思路，这一篇来自NIPS20的文章GraphCL则和SimCLR的思路一样的，即用各种各样的数据增强方法之后再对比学习。动机是传统的Graph模型会有over-smoothing or information loss这种问题，所以作者认为开发预训练技术是很有必要的。完整架构如上图，基本就是SimCLR的套路了。其中而GraphCL开发了4种增强的模式：
- 节点丢弃。随机丢弃某些部分顶点及其连接。这意味着缺少部分顶点不影响图的语义。
- 边扰动。通过随机添加或丢弃一定比例的边来扰动图中的连接性。这意味着边的连接模式具有一定的鲁棒性。
- 属性掩码。使用其上下文信息（即剩余属性）恢复masked的顶点属性。 基本假设是缺少部分顶点属性不会对模型预测产生很大影响。
- 子图。使用随机游走采样一个子图，它假设图的语义可以在局部结构中得到很大的保留。
属性增强完成后，用GNN来encoder（即图中的黄色部分），然后再Projection head，Contrastive loss，这一些就和SimCLR一样了。
- code：https://github.com/Shen-Lab/GraphCL
Cross-Modal Contrastive Learning for Text-to-Image Generation
这篇的应用场景是用于文本到图像的生成。整体的架构也和SimCLR很像。首先由于背景是跨模态图像生成，所以对于生成的图片要求输出
- 连贯的。文本和图片的语义要整体匹配。
- 清晰的。图像的局部也是可识别，且和文本的词一致。
- 还原度高的图片。在条件一致时生成图像应该与真实图像相似。
为了解决这个问题，作者提出了一个基于最大化图像和文本之间互信息的跨模态对比生成对抗网络(XMC-GAN)。具体架构如上图，XMC-GAN使用了一个注意力自调节生成器用于加强文本-图像之间的对应关系（其实就是将噪音，词注意力，整体表征融合，具体如上半部分图的套娃），同时使用了一个对比判别器用作对比学习的特征抽取器，这里设计了三种以强制对齐生成的图像和文本：
- 从图像到句子。直接算特征的对比损失。
- 图像区域到单词。计算句子中所有单词与图像中所有区域之间的成对余弦相似矩阵，然后算对比损失。
- 图像到图像对比损失。算真图像和假图像的对比损失。
详细公式大家自己看原文吧：
- paper：https://arxiv.org/abs/2101.04702v2
TRAINING GANS WITH STRONGER AUGMENTATIONS VIA CONTRASTIVE DISCRIMINATOR
补文ICLR2021的文章，把GAN和对比学习也结合起来吧，做一个对比形式的判别器吧。特别是关于GAN的数据增强技术是可以在一定程度上稳定GAN训练，所以看起来对比学习+GAN是很合适的搭配。所以沿着增强的思路，这篇文章也是SimCLR的一类，模型架构如上，生成器可以得到多个样本，然后一起被送到D中，主要的贡献就是提出了Contrastive Discriminator (ContraD)。
- ContraD的主要目标不是最小化GAN的鉴别器损失，而是学习一种与GAN兼容的对比表示。这意味着目标不会破坏对比学习，而表示仍然包含足够的信息来区分真实和假样本，因此一个小的神经网络鉴别器足以对表示执行其任务。
loss的组成由两部分，一个是SimCLR的loss，同时因为需要分清正负样本仅仅对比学习也是不够的，所以仍然需要dis loss来辅助训练。
- code：https://github.com/jh-jeong/ContraD
对比学习的应用（LCGNN，VideoMoCo，GraphCL，XMC-GAN）相关推荐
- 继续！从顶会论文看对比学习的应用！
公众号作者@上杉翔二 悠闲会 · 信息检索 整理 | NewBeeNLP 上周,我们分享了对比学习的一些应用,从顶会论文看对比学习的应用! 本篇博文将继续整理一些对比学习的应用,主要是集中在MoCo和 ...
- 对比学习的应用（SimCSE，CLEAR，DeCLUTR，DiffCSE）
前已经有博文整理过了对比学习的概念,比较重要且流行的文章,和一些已经有的应用,主要是在image或者video上的应用: Contrastive Learning(对比学习,MoCo,SimCLR,B ...
- 对比学习的应用（CLCaption，C-SWM，CMC，SGL）
Contrastive Learning,对比学习的一些理论概念博主已经在上篇文章整理了,传送门:Contrastive Learning(对比学习,MoCo,SimCLR,BYOL,SimSiam) ...
- Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）
很多大佬认为,深度学习的本质就是做两件事情:Representation Learning(表示学习)和 Inductive Bias Learning(归纳偏好学习).在表示学习方面,如果直接对语义 ...
- 一文详解图对比学习（GNN+CL）的一般流程和最新研究趋势
©作者 | 侯宇蓬 单位 | 中国人民大学 文章来源 | RUC AI Box 随着对比学习(Contrastive Learning)在 CV.NLP 等领域大放异彩,其研究热度近年来也逐步走高.在 ...
- 技术动态 | 图对比学习的最新进展
转载公众号 | DataFunSummit 分享嘉宾:朱彦樵 中国科学院自动化研究所 编辑整理:吴祺尧 加州大学圣地亚哥分校 出品平台:DataFunSummit 导读:本文跟大家分享下图自监督学习中 ...
- 知识图谱-生物信息学-医学顶刊论文(Bioinformatics-2022)-SGCL-DTI：用于DTI预测的监督图协同对比学习
14.(2022.5.21)Bioinformatics-SGCL-DTI:用于DTI预测的监督图协同对比学习 论文标题: Supervised graph co-contrastive learni ...
- 顶会论文看图对比学习 (GNN+CL) 研究趋势
作者 | 侯宇蓬 单位 | 中国人民大学 来源 | RUC AI Box 随着对比学习(Contrastive Learning)在 CV.NLP 等领域大放异彩,其研究热度近年来也逐步走高.在图学习 ...
- 图对比学习入门 Contrastive Learning on Graph
对比学习作为近两年的深度学习界的一大宠儿,受到了广大研究人员的青睐.而图学习因为图可以用于描述生活中广泛出现的非欧式数据,具有广大的应用前景.当图学习遇上了对比学习- 本文从对比学习入手,再介绍图对比 ...
最新文章
- 为什么RStudio Server这么慢？
- 华为云域名注册_关于域名购买的常识介绍，想建站的必看
- java调用存储过程 oracle_java调用oracle存储过程
- PAT甲级1074 Reversing Linked List ：[C++题解]反转链表，借用vector
- ae万能弹性表达式_外置常用ae插件 快速掌握AE软件的精髓
- 第15课：卷积神经网络（CNN）
- 机器视觉行业市场现状及发展前景分析
- scala中命名参数函数_Scala中带有命名参数的函数
- 基础功能-tensorflow使用gpu
- mapreduce复制连接的代码_MapReduce：在大型集群上简化数据处理（2）
- 女生适合学python_Python适合女生学习吗？
- Windwos配置Maven环境变量
- Spring核心——MessageSource实现国际化
- Redis学习笔记（十）——过期时间、访问限制与缓存
- cmos和ttl_TTL和CMOS的比较
- html自动切换图片特效代码,js图片自动切换效果处理代码
- can和could的用法_can和could的区别和用法
- 注意ITUNES与ECLIPSE,TOMCAT冲突
- 取出字符串中数字的最大值
- 给AI新手推荐的十篇最佳数据科学文章