目前最好的自我监督学习算法

当前最好的自我监督学习算法是「自监督对抗性训练」（Contrastive Learning），它已经在计算机视觉和自然语言处理领域获得了很好的效果。

自我监督学习是通过利用数据本身的内在结构和关系从而学习有用的表征方式。在自我监督训练中，不使用人工标签，而是从原始数据中自动提取标签，然后利用这些标签来训练模型。而Contrastive Learning是一种基于对比的自我监督学习算法。

Contrastive Learning的主要思路是将原始数据分为两个样本集，然后通过最小化同一集合内的样本距离，最大化不同集合内的样本距离从而学习模型。以自然语言处理为例，较常用的contrastive learning基于生成式的语言模型，例如GPT等。在这种情况下，模型可以在未来预测许多单词，然后对生成的单词计算相似度，从而得到模型的表征。

在计算机视觉领域，contrastive learning使用了学习两个视图，并且尝试最小化两个视图之间的距离、最大化同一视图之间的距离。近期通过使用自注意力机制，其效果得到了大幅提升，成为了当今最有效的预训练学习算法之一。

目前最好的自我监督学习算法相关推荐

Chatgpt使用的是哪种自我监督学习算法
ChatGPT模型使用的自我监督学习算法是基于语言模型的自监督学习方法.具体来说,在训练ChatGPT模型时,使用的是一种被称为「掩码语言模型」(Masked Language Model,MLM)的 ...
Facebook人工智能的一种新的自我监督学习算法：Barlow Twins
首先近年来,在ImageNet等大规模计算机视觉基准中,自我监督学习已经开始与监督学习竞争.在计算机视觉中,已经引入了很多数据增强的自监督学习方式.目标是学习一个不受输入变化影响的通用表示.对于一个 ...
半监督学习图像分类_自我监督学习的图像分类。
半监督学习图像分类 In this post we explore the benefits of applying self-supervised learning to the image cl ...
自我监督学习：AI技术的未来发展方向
尽管深度学习已经在人工智能领域做出重大贡献,但这项技术本身仍存在一项致命缺陷:需要大量数据的加持. 来源丨The Next Web 尽管深度学习已经在人工智能领域做出重大贡献,但这项技术本身仍存在一项 ...
卷积神经网络流程图_AAAI 2020 | 北大：图卷积中的多阶段自监督学习算法
作者 | 孙科编辑 | 唐里本文对北京大学林宙辰团队完成,被AAAI-20录用的论文<Multi-Stage Self-Supervised Learning for Graph Convo ...
论文笔记--Self-Supervised Learning of 3D Human Pose using Multi-view Geometry（利用多视角几何学对三维人类姿势进行自我监督学习）
利用多视角几何学对三维人类姿势进行自我监督学习摘要训练准确的三维人体姿态估计器需要大量的三维真实数据,而这些数据的收集成本很高.由于缺乏3D数据,各种弱监督或自监督的姿势估计方法已经被提出.然 ...
机器学习理论入门：第二章经典监督学习算法-决策树
第二章经典监督学习算法-决策树一.决策树总体概览概念:是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概 ...
报名 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...
论文共读 | “阳奉阴违”的半监督学习算法 - Virtual Adversarial Training
「论文共读」是由 PaperWeekly 发起的协同阅读小组.我们每周精选一篇优质好文,由学术大咖带大家解读论文并展开讨论,在碎片化时代坚持深度阅读. 本期论文共读由 PaperWeekly 社区用户 ...

目前最好的自我监督学习算法

目前最好的自我监督学习算法相关推荐

最新文章

热门文章