Bootstrap Your Own Latent论文解读
Bootstrap Your Own Latent
本次分享的是Nips2020的一篇关于自监督学习（SSL）的文章，最近SSL掀起了一波新潮，来跟大家分享一下。
1、前言
最近几年CV领域的大部分自监督表示学习的方法都是依赖于精心设计的pretext task,例如： relative patch prediction, colorizing gray-scale images ,image jigsaw puzzle 等。但在对比学习兴起之后使人们省去了设计pretext task的时间，通过利用Contrastive Predictive Coding这个通用的预训练任务，产生了不少优秀的文章，也提出了一些效果比较好的模型，最经典的当属SimCLR、MoCo。但是他们都不可避免的使用正、负样本对来做对比，这就需要非常大的batch size，对存储要求比较高。这篇文章提出了一种不需要负样本即可超过SOTA的方法。文章中的主要对比模型就是SimCLR，下面进行简要介绍。
SimCLR
f(·)是resnet网络，g(·)表示双层的MLP。
Loss function
2i和2i-1来自同一张图片，2i和其他来自不同图片。
2、论文提出方法
论文中提出了一种不需要用负样本的模型BYOL，不仅达到了SSL的最好的效果，而且和其他的对比学习方法相比，对batch size、image augmentation更有弹性。那我们一起来看一下，这个如此厉害的模型到底长什么样子。
（1）模型
。。。。。果然就如此简单
（2）工作流程：
（3）loss function:
（4）参数更新：
作者为什么会想到不用负样本也可以成功？我们仔细思考一下，在对比学习出现之前的自监督学习的方法，是不是也没有负样本，是不是也成功了，而且设计的那些pretext task是不是大部分都是数据增强，是不是。。。。原来如此。
3、模型起作用的原因
（1）为什么要用MLP做一次projection？
可能是MLP将encoder生成的embeding变换到了更容易区分的空间。（因为大家都这么用，而且有效果。）
（2）为什么要再加一个predictor？target network为什么要用滑动更新？
因为predictor和target network可以一起来防止产生collapsing solution(e.g.[1,0,0,…,0])。
（3）他们是如何起作用的呢？
作者假定predictor是最优的，所以就有了下面的结果
模型更新参数就是由下面决定，
根据Var[X|Y,Z]≤Var[X|Y]，在上面方程中丢弃Y的信息是不能使优化目标最小化的。但是使用X的信息也不会让优化目标减小，所以应该让X去接近于Y，由Y决定。
论文中有采用滑动更新可以完成上述更详细的解释（虽然结论是对的，但是感觉推导有些问题）有兴趣的可以去看一下。
（4）本文的对比损失和之前有负样本的对比损失有什么关系？
作者对InfoNCE做了如下改写：
SimCLR的对比损失就可以写成如下形式，
本文中的损失函数可写成，
4、性能
在下游任务上性能都很好，此处只展示一个图。
5、Ablations
(1)对batch size大小的弹性
（2）对数据增强作用的弹性
（3）target network的作用和影响
小结
论文主要的贡献是提出了一种不需要负样本的对比学习模型，而且将mean teacher模型应用到了无监督学习的思路上来。但是说文章完全不用负样本也待商榷，因为SimCLR那篇论文就曾提出，BN操作会泄露同batch的信息，这是否对结果有影响呢？
原文链接：https://arxiv.org/abs/2006.07733
Bootstrap Your Own Latent论文解读相关推荐
- 论文笔记：Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
论文笔记:Bootstrap Your Own Latent A New Approach to Self-Supervised Learning abstract: 介绍了BYOL网络(原理):依赖 ...
- CVPR 2018 论文解读集锦（9月26日更新）
本文为极市平台原创收集,转载请附原文链接: https://blog.csdn.net/Extremevision/article/details/82757920 CVPR 2018已经顺利闭幕,目 ...
- 哈佛NLP组论文解读：基于隐变量的注意力模型 | 附开源代码
作者丨邓云天 学校丨哈佛大学NLP组博士生 研究方向丨自然语言处理 摘要 Attention 注意力模型在神经网络中被广泛应用.在已有的工作中,Attention 机制一般是决定性的而非随机变量.我们 ...
- CVPR 2021 | 腾讯AI Lab入选论文解读
本文转载自腾讯AI实验室 CVPR(Conference on Computer Vision and Pattern Recognition)是计算机视觉三大顶会之一,也是中国计算机学会推荐的人工智 ...
- CVPR2020论文分方向整理之检测篇（代码/论文解读/136篇打包下载）
z CVPR2020论文分方向整理之检测篇(代码/论文解读/136篇打包下载) 极市平台(微信公众号ID:extrememart):专注计算机视觉前沿资讯和技术干货.本文由极市平台首发,转载需获授权. ...
- CVPR2020论文分方向整理之检测篇_3D目标检测（代码/论文解读/136篇打包下载）
CVPR2020论文分方向整理之检测篇(代码/论文解读/136篇打包下载) 本周三,CVPR官方正式开放下载,极市第一时间将所有论文(共1467篇)进行了下载打包,详情见此处.为了方便大家进一步的学习 ...
- CVPR 2018 论文解读集锦
之前我们整理过视觉顶级会议CVPR2017的论文解读文章 和ICCV 2017 论文解读集锦,CVPR 2018已经公布了所有收录论文名单,为了能够让大家更深刻了解CVPR的论文,我们进行了一些CVP ...
- CVPR 2018 论文解读（部分）
CVPR 2018还有3个月就开始了,目前已经公布了所有收录论文名单,为了能够让大家更深刻了解CVPR的论文,我们进行了一些CVPR 2018论文解读的整理,后续还会持续更新. 1.CVPR2018| ...
- 【0514 更新中】CVPR2019 论文解读汇总
CVPR2019 论文解读汇总(0514 更新中) 原文 http://bbs.cvmart.net/topics/287/cvpr2019 计算机视觉顶会CVPR 2019 接收结果已经出来啦,相关 ...
最新文章
- Beam Search
- BZOJ1460: Pku2114 Boatherds
- 用户信息填写web代码_基于web的自定义表单引擎
- Android 读取xml转json,将XML转换为Android中的JSON对象
- 全球与中国成品家具市场发展现状与战略规划布局策略分析报告2022-2028年版
- matlab GUI 设计
- 【MFC开发（9）】列表控件List Box
- 扫雷（简易版） 10*10
- 哈工大计算机系统大作业——程序人生-Hello’s P2P
- 1450F The Struggling Contestant（贪心+思维）
- 滴滴共享单车在深圳被叫停；六六接受京东道歉；宝马发布最新充电网络计划丨价值早报
- 抬杠APP获Donews“年度最佳运营创意”大奖，跨界营销引瞩目
- [数据结构] 数组与链表的优缺点和区别
- pytorch 12 支持任意维度数据的梯度平衡机制GHM Loss的实现（支持ignore_index、class_weight，支持反向传播训练，支持多分类）
- 5611AH 数码管 引脚图
- Oracle之删除数据之后如何恢复的方法总结
- IBM3650M4实体机安装ESXI7.0
- 《手把手教你读财报》读后感
- 2022年IAA行业品类发展洞察系列报告：内容向APP及休闲游戏的突围
- 51单片机-C语言之while(!x)的理解