Abstract

Few-shot learning 旨在在给定有限数量的支持样本的情况下正确识别来自看不见的类的查询样本，通常依赖于图像的全局嵌入。在本文中，我们建议为骨干网络配备一个通过强化学习训练的注意力代理。策略梯度算法用于训练代理随着时间的推移自适应地定位特征图上的代表性区域。我们进一步设计了基于保留数据预测的奖励函数，从而帮助注意力机制更好地泛化到未见过的类别中。广泛的实验表明，在强化注意力的帮助下，我们的嵌入网络能够在少样本学习中逐步生成更具辨别力的表示。此外，图像分类任务的实验也表明了所提出设计的有效性。

Introduction

尽管传统方法对于小样本学习的任务效果很好，但它们很可能会忽略特征图中编码的空间信息，这使得模型对图像示例中的背景杂波非常敏感 。为了充分利用可用的空间信息，最近开发了面向注意力的设计用于少样本学习。使用词嵌入作为辅助数据，提出了语义引导的注意模块来捕获查询样本中的相关视觉特征。除了语义引导的注意之外，样本引导的注意设计还能够进一步探索支持样本和查询样本之间的特征相关性。虽然这些注意力模型有效地使类特征更具代表性，但它们往往过于关注设计复杂的元学习器。

为了解决上述弱点，在这项工作中，我们提出了一种用于小样本学习的强化注意力策略 (RAP) 模型，这是一种通过强化学习训练的注意力机制。具体来说，设计了一个辅助代理来装备主干网络，以计算一系列注意力图，这些注意力图反复决定在哪里执行或忽略特征图。

图 1 (b) 进一步显示了 RAP 如何处理小样本学习任务。使用 RAP 来装备骨干网络，我们将小样本学习转换为 MDP。策略模块不断地接收来自元学习器的反馈

【阅读笔记】Reinforced Attention for Few-Shot Learning and Beyond相关推荐

【论文阅读笔记】Efficient and Secure Federated Learning With Verifiable Weighted Average Aggregation
个人阅读笔记,若有错误欢迎指正期刊:2023 TNSE 论文链接: Efficient and Secure Federated Learning With Verifiable Weighted ...
《论文阅读笔记》Attention Bottlenecks for Multimodal Fusion
转自于https://blog.csdn.net/me_yundou/article/details/121070837 查看全文 http://www.taodudu.cc/news/show-62 ...
阅读笔记之《DisenQNet: Disentangled Representation Learning for Educational Questions》
<DisenQNet: Disentangled Representation Learning forEducational Questions> DisenQNet:教育问题的解偶表示 ...
2.阅读笔记Stacked Attention Networks for Image Question Answering(堆叠式注意力网络)
Stacked Attention Networks for Image Question Answering(堆叠式注意力网络) 一,介绍这篇论文提出了一种用于图像问答任务的堆叠式注意力网络SAN ...
文献阅读笔记 | Reconstructing commuters network using machine learning and urban indicators
原文:Spadon, G., de Carvalho, A. C., Rodrigues-Jr, J. F., & Alves, L. G. (2019). Reconstructing co ...
论文阅读笔记（7-1）---Supervised Contrastive Learning
原文链接 B站讲解视频 Toutube视频搬运参考解读参考解读研究背景交叉熵损失函数是分类模型监督学习中应用最广泛的损失函数,但是它具有对噪声标签缺乏鲁棒性.边界性差等特点,泛化能力较差. 研 ...
【文献阅读笔记】KAM Theory Meets Statistical Learning Theory: Hamiltonian Neural Networks with Non-Zero Trai
文章发表于[2022]AAAI Technical Track on Machine Learning I 文章目录文章目的一.主要内容: 1.用统计学习理论证明哈密顿神经网络的训练模型是原系统的 ...
【阅读笔记】Mutual CRF-GNN for Few-shot Learning
Abstract 图神经网络 (GNN) 是小样本学习的上升趋势. GNN 中的一个关键组成部分是亲和力.通常,GNN 中的亲和力主要在特征空间中计算,例如成对特征,并且没有充分利用与这些特征相关的语 ...
论文阅读笔记《Neural Graph Matching Network: Learning Lawler’s Quadratic Assignment Problem With Extension》
核心思想该文提出一种图匹配神经网络用于解决Lawler's形式的二次分配问题,并将其推广到超图匹配和多图匹配领域.在之前的文章中,我们介绍过图匹配问题通常被定义为一种二次分配问题(QAP),通常 ...
文本分类论文阅读笔记
文章目录 CNN系列 Effective Use of Word Order for Text Categorization with Convolutional Neural Networks A ...

【阅读笔记】Reinforced Attention for Few-Shot Learning and Beyond

Abstract

Introduction

【阅读笔记】Reinforced Attention for Few-Shot Learning and Beyond相关推荐

最新文章

热门文章