对比学习

对比学习属于无监督或者自监督学习，但是目前多个模型的效果已超过了有监督模型。

目前研究大多数都是：充分使用越来越大量的无标注数据，使用越来越复杂的模型，采用自监督预训练模式，来从中吸取图像本身的先验知识分布，在下游任务中通过Fine-tuning，来把预训练过程习得的知识，迁移给并提升下游任务的效果。

对比学习不依赖标注数据，要从无标注图像中自己学习知识。图像领域里的自监督可以分为两种类型：生成式自监督学习，判别式自监督学习。VAE和GAN是生成式自监督学习的两类典型方法，即它要求模型重建图像或者图像的一部分，这类型的任务难度相对比较高，要求像素级的重构，中间的图像编码必须包含很多细节信息。对比学习则是典型的判别式自监督学习，相对生成式自监督学习，对比学习的任务难度要低一些。

目前，对比学习貌似处于“无明确定义、有指导原则”的状态，它的指导原则是：通过自动构造相似实例和不相似实例，要求习得一个表示学习模型，通过这个模型，使得相似的实例在投影空间中比较接近，而不相似的实例在投影空间中距离比较远。而如何构造相似实例，以及不相似实例，如何构造能够遵循上述指导原则的表示学习模型结构，以及如何防止模型坍塌(Model Collapse)，这几个点是其中的关键。

目前出现的对比学习方法已有很多，如果从防止模型坍塌的不同方法角度，我们可大致把现有方法划分为：基于负例的对比学习方法、基于对比聚类的方法、基于不对称网络结构的方法，以及基于冗余消除损失函数的方法。

读文章笔记（十一）：对比学习（Contrastive Learning）相关推荐

从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering)
从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering) 作者:凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailug ...
对比学习Contrastive Learning
对比学习是一种常用的自监督学习方法. 核心思想:把正样本距离拉近,正样本与负样本距离拉远.(类似度量学习中的margin, 但是对比学习为正负样本分类,无margin概念) 方式:通过一个正样本,以及 ...
理解对比表示学习(Contrastive Learning)
目录一.前言二.对比学习三.主要论文(附代码分析) 1. AMDIM ([Bachman](https://arxiv.org/pdf/1906.00910.pdf) *et al.* 2019 ...
读文章笔记（十）：多任务学习
读文章笔记(十):多任务学习多任务学习优点多任务学习方法 hard parameter sharing soft parameter sharing 多任务学习改进的方向注意事项来源于公众号: ...
读文章笔记（三）：从源码学习Transformer
读文章笔记(三):从源码学习Transformer encoder分为两部分: decoder 公众号机器学习算法工程师文章链接: https://mp.weixin.qq.com/s/0NajB_ ...
读文章笔记-自适应和加速GB生成算法
读文章笔记-GBC 文章背景内容定义1+现有GB生成过程 GBKNN 文章的GB生成算法疑问与反思文献脉络文章 An Efficient and Adaptive Granular-Bal ...
转发：很好理解流形学习的文章-浅谈流形学习(Manifold Learning)
转很好理解流形学习的文章-浅谈流形学习(Manifold Learning) 来源 Machine Learning 虽然名字里带了 Learning 一个词,让人乍一看觉得和 Intelligen ...
读文章笔记（二）：模型结构优化前沿动态综述
读文章笔记(二):模型结构优化前沿动态综述公众号东大自然语言处理实验室文章链接: link. NLP领域神经网络结构的发展历程: 相关模型总结分析,NLP领域模型结构的整体趋势神经网络模型结构优化 ...
读文章笔记（八）：多模态情感分析数据集整理
读文章笔记(八):多模态情感分析数据集(Multimodal Dataset)整理双模态(一般是文本.图像和语音的两两组合) 三模态(一般是文本.图像加语音) 作者:骑着白马的王子地址:https ...

读文章笔记（十一）：对比学习（Contrastive Learning）

读文章笔记（十一）：对比学习（Contrastive Learning）

对比学习

读文章笔记（十一）：对比学习（Contrastive Learning）相关推荐

最新文章

热门文章