Abstract

小样本学习已经被研究来模仿人类的视觉能力和学习有效的模型，而不需要详尽的人类注释。尽管适应元学习的思想主导了小样本学习方法，但如何训练特征提取器仍然是一个挑战。在本文中，我们关注于训练策略的设计，以获得一个元素表示，使每个新类的原型可以从几个标记的样本估计。我们提出了一个两阶段的训练方案，伙伴辅助学习(PAL)，首先训练伙伴编码器建模成对的相似性和提取特征作为软锚，然后训练主编码器，将其输出与软锚对齐，同时试图最大化分类性能。分别设计了logit级和特征级对齐约束。对于每个少量的任务，我们执行原型分类。我们的方法在四个基准上始终优于最先进的方法。提供了详细的PAL消融研究，以证明训练中每个组件的选择。

Introduction

为了促进小样本学习的快速模型适应，元学习被用来模拟训练过程中的小样本任务，通过设计一个最优的适应算法或学习一个共享的特征空间用于基于原型的分类。

如图1(a)所示，原型分类方法通过对少数标记样本的特征进行平均，估计出小样本原型。一个新的样本(即查询)通过使用最近邻域搜索将其与所有原型的余弦相似度进行比较来分类。

如图1(b)所示，在分类环境中，特征分布应该是：

(1)每个簇内的紧凑性(即支持高类内相似性)

(2)簇间的区别性(即支持大类间距离)。

最近的研究表明，在大规模(基本)数据集上进行完全监督的模型预训练，可以通过执行原型分类来作为新的小样本任务的强基线。对于每个基类，使用类标签的传统全监督预训练学习一个唯一的权向量，作为一个硬锚。通过最小化与类标签的交叉熵损失，每个图像特征被推到其相应的类锚。因此，对于每个类，我们希望用特征的平均值来表示小样本分类中的类。

在基类上预先训练的特征提取器可以抑制与基域无关的细节，而这些细节可以对新的类具有鉴别性。因此，结合实例比较来保留细节可以促进在新领域的小样本学习。知识蒸馏制定了一个师生设置，并对相同图像的两个模型的输出进行了比较。对于每个图像，教师模型生成软标签，以模拟不同类之间的接近程度。通过比较教师模型和学生模型的输出，利用软标签对学生模型进行训练，以保留更多的类关系细节。因此，学生模型在小样本任务上获得了更高的准确性。虽然知识提炼取得了成功，但由于教师模型曾经根据基类的硬锚进行过严格优化，因此绩效的提升还是有限的。

为了提高特征提取器的泛化能力，受原型学习和监督对比学习中动态和个体代表的启发，我们提出了一种可用于动态表示类的特征提取方法。并将这些特征设置为软锚，对硬锚训练的特征提取器进行正则化。与知识蒸馏方法相比，我们的方法不是迭代已经优化的硬锚特征提取器，而是利用基域上的各种特征从头正则化一个新的特征提取器，该特征提取器是在交叉熵损失下用类标签训练的。

Contributions

我们提出了伙伴辅助学习(PAL):一个用于在小样本分类设置下的表示学习框架，其中伙伴编码器和主编码器被顺序训练，这样伙伴编码器的特征被用作软锚从零正则化主编码器的训练。

我们提出了两种对齐方法，在特征级和logit级，利用软锚正则化训练与类标签。

我们表明，PAL在四个小样本基准上始终达到最先进的性能，并在监督学习设置中提高分类精度。我们也提供全面的消融研究来证明每个组件的设计。

Method

1、任务定义

如图2所示，首先使用

【阅读笔记】Partner-Assisted Learning for Few-Shot Image Classification相关推荐

论文阅读笔记：SCAN: Learning to Classify Images without Labels
论文阅读笔记:SCAN: Learning to Classify Images without Labels 摘要简介和相关工作方法表征学习语义聚类损失 2.3 通过自标记进行微调 3 实验 ...
阅读笔记（Communication-Efficient Learning of Deep Networks from Decentralized Data）
阅读笔记(Communication-Efficient Learning of Deep Networks from Decentralized Data) 动机联邦平均实验结果 MINIST优 ...
论文阅读笔记：Multi-view adaptive graph convolutions for graph classification
论文阅读笔记:Multi-view adaptive graph convolutions for graph classification 文章目录论文阅读笔记:Multi-view adapti ...
论文阅读笔记：ProjectionNet: Learning Efficient On-Device Deep Networks Using Neural Projections
提示:阅读论文时进行相关思想.结构.优缺点,内容进行提炼和记录,论文和相关引用会标明出处. 文章目录前言介绍相关工作神经投影网络(Neural Projection Networks) Pro ...
【阅读笔记】Federated Learning for Privacy-Preserving AI
Federated Learning for Privacy-Preserving AI 前言一.论文解析 Definition Categorization Architecture Applic ...
ZH奶酪：【阅读笔记】Deep Learning, NLP, and Representations
中文译文:深度学习.自然语言处理和表征方法 http://blog.jobbole.com/77709/ 英文原文:Deep Learning, NLP, and Representations ht ...
论文阅读笔记--Federated Continual Learning with Weighted Inter-client Transfer
本文提出了一种新的场景,联邦学习(FL)的每个client各自执行一系列的持续学习(Continual Learning)任务,为了说明这个场景的实际意义,文章给出了这样一个场景: 若干个医院要通过一 ...
论文阅读笔记《Few-Shot Learning with Global Class Representations》
小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种基于度量学习的小样本学习算法.与其他算法将训练集分成基础类别和新类别,进行两个阶段的训练方式不同,本文将包含大量样本的基础 ...
论文阅读笔记《Meta-Transfer Learning for Few-Shot Learning》
小样本学习&元学习经典论文整理||持续更新核心思想本文提出一种基于迁移学习的元学习算法(Meta-Transfer Learning,MTL)用于解决小样本学习问题,通过对深层卷积神经 ...
论文阅读笔记——[MPN]: Multi-task Learning with Coarse Priors for Robust Part-aware Person Re-identification
论文:Multi-task Learning with Coarse Priors for Robust Part-aware Person Re-identification TPAMI 2022 ...

【阅读笔记】Partner-Assisted Learning for Few-Shot Image Classification