自监督、弱监督、半监督 kick-off

最近对这几个 topic 比较感兴趣，也断断续续看了不少 paper，先简单总计一下现阶段的理解，后续如果理解更加深入后再更新：

自监督，弱监督和半监督没有明确的界限。都可以划归到深度迁移学习概念下。都旨在利用无标签数据构造一些 pretext task 获取伪标签，辅助新任务的小样本学习。目前看其实主要是利用大量同源的数据学习到更多底层的特征，获得更好的预训练模型。类似字典学习，里面的 atom 全了，弹药更多了，当然对与新任务的收敛和性能也可能更加友好。所以后面我就不做区分，统一成为自监督学习

这里的一个不确定性是，如果准备的弹药（无标签数据生成的特征）对与新任务用不上，那么可能这种自监督学习是无效的。所以自监督学习的关键是怎么无标签的数据选择和 pretext task 的构造很关键，一般来说，通用的pretext task 有以下流派，如表 1 所示：

表 1 自监督学习 pretext task 流派
流派	代表性方法
encoder-decoder 流派
rotation prediction 流派
jigsaw puzzles 流派
图像着色流派
图像局部重构流派
对比学习流派(contrastive learning)	[MOCO 系列，simCLR 系列]
student-teacher （ST）流派

上面的代表性方法太多了，除了对比学习流派和 ST 流派，其他都是 augmentation的范畴，也称为

『Consistency-based Self-supervised learning』或者『consistency regularization』，说白了就是同一张图像通过变换后，标签是一致的。

pretext task 其实还是比较关键的，通用的方式当然不一定最优，所以要以终为始去做选择后者构造。如果能构造与目标任务接近的 task 是最理想的。所以很多人也乐于使用 ST 流派来给未标注数据打上伪标签，但是这种方式也有风险是可能在错误的路上越走越远。

先这样吧，其实想说的还不少，只是感觉目前理解的层面还属于看山是山的第一层，多说多错，后面再更新。

欢迎批评讨论。

自监督、弱监督、半监督 kick-off相关推荐

西瓜书+实战+吴恩达机器学习（十六）半监督学习（半监督SVM、半监督k-means、协同训练算法）
文章目录 0. 前言 1. 半监督SVM 2. 半监督k-means 2.1. 约束k-means 2.2. 约束种子k-means 3. 协同训练算法如果这篇文章对你有一点小小的帮助,请给个关注, ...
【小样本基础】有监督小样本，半监督小样本，无监督小样本
本篇博客探讨的主要是小样本的分类问题目录 1. 问题定义 2. 有监督小样本分类 3. 半监督小样本分类 3.1 基于一致性约束的方法 3.2 基于伪标注的方法 4. 无监督小样本分类 4.1 基于 ...
图像分类最新技术综述论文: 21种半监督、自监督和无监督学习方法一较高低
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :专知 AI博士笔记系列推荐 ...
半监督3D医学图像分割（三）：URPC
Efficient Semi-supervised Gross Target Volume of Nasopharyngeal Carcinoma Segmentation via Uncertain ...
李宏毅ML笔记12:半监督
目录生成式模型有监督生成式模型半监督生成式模型直观解释具体操作基本原理低密度分离假设 Self Training Self Training与generative model对比基于熵 ...
【半监督医学图像分割 2021 TMI】SimCVD 论文翻译
文章目录 [半监督医学图像分割 2021 TMI]SimCVD 论文翻译摘要 1. 介绍 2. 相关工作 3. 方法 3.1 总览 3.2 任务制定 3.3 基础体系结构 3.4 边缘对比蒸馏 4. ...
【半监督论文综述】A survey on semi-supervised learning
下载半监督学习 1. 半监督学习 1.1 三个假设 1.1.1 平滑假设 1.1.2 低密度假设 1.1.3 流形假设 1.1.4 聚类假设 1.2. 评估半监督学习算法 2. 半监督学习算法分类 ...
融合一致性正则与流形正则的半监督深度学习算法
融合一致性正则与流形正则的半监督深度学习算法王杰1,2, 张松岩1,2, 梁吉业1,2 1山西大学计算机与信息技术学院 2计算智能与中文信息处理教育部重点实验室摘要:半监督学习已被广泛应用于大数据 ...
点云分割训练哪家强？监督，弱监督，无监督还是半监督？
点击进入->3D视觉工坊学习交流群 0. 笔者个人体会近年来,自动驾驶领域的各项下游任务基本上都要求了对场景的语义理解,比如自动驾驶车辆要能够理解哪个是路面.哪个是交通灯.哪个是行人.哪个是树 ...
【机器学习】有监督、无监督、自监督、半监督、弱监督的区别
有监督:用有标签的数据训练: 无监督:用无标签的数据训练: K-means等半监督:利用数据分布上的模型假设建立学习器对未标签样例进行标签.通常是两阶段的训练,先用(较小规模的)有标签数据训练一个T ...

自监督、弱监督、半监督 kick-off

自监督、弱监督、半监督 kick-off相关推荐

最新文章

热门文章