笔记仅供参考，撰写不易，请勿恶意转载抄袭！

Abstract

小样本学习旨在基于有限数量的样本就行预测。结构化数据（如知识图谱、本体库）已被用于少样本设置的各种任务。但是现有方法采用的先验存在知识缺失、知识噪声和知识异质性等问题，影响了小样本学习的性能。在本研究中，我们探索了基于预训练语言模型的小样本学习知识注入，并提出本体增强的提示优化。具体而言，本文开发了基于外部知识图谱的本体转换来解决知识缺失问题，实现了结构化知识向文本的转换。本文进一步通过可见矩阵引入跨度敏感知识注入，以选择信息性知识来处理知识噪声问题。为了弥补知识和文本之间的差距，本文提出了一种集体训练算法来联合优化表示。

Introduction

在过去几年中，FSL已被引入到广泛的机器学习任务中，如关系抽取、事件抽取和知识图谱补全等。（Over the past few years, FSL has been introduced in a wide range of machine learning tasks, such as relation extraction, event extraction and knowledge graph completion.）但是，FSL存在以下问题：

知识缺失 由于外部知识库的不完整性，知识注入可能无法检索与任务相关的事实，从而为下游任务提供无用或者不相关的信息。如何丰富与任务相关的知识是一个重要问题。
知识噪声 先前的研究表明，并不是所有的知识都对下游任务有益，不加区分的知识注入可能会导致负面信息注入，影响下游任务执行。因此上下文敏感和任务的知识选择对于知识增强学习至关重要。
知识异质性 下游任务的语料库与注入的知识截然不同，导致两个单独的向量表示。如何设计一个特殊融合知识信息的联合训练目标是另一个挑战。

针对上述问题所提出的策略：

提出了本体转换来丰富和转换结构化知识到文本形式。（简单来说，就是将实体等信息作为提示，加入到输入文本中，弥补知识缺失问题）
具体而言，本文使用预定义的模板将知识转换为文本作为提示。提示调优可以减少预训练模型任务和下游任务之间的差距。例如，“Turing entered King’s College, Cambridge in 1931, and then went to Princeton University to study for a doctorate（图灵1931年进入剑桥国王学院，然后去普林斯顿大学攻读博士学位）”，可以根据本体将他们包装成“s. Turing [MASK] King's College”，PLMs应该预测掩码位置的标签来确定输入的标签。需要注意的是，本体作为提示将实体/跨度的知识加入到输入文本中，这是与模型无关的，即可以插入任何类型的PLMs中。
提出跨度敏感知识注入，以选择信息化知识并减轻噪声注入。（也就是要避免不相关和噪声知识对模型产生影响）
利用一个基于跨度及相应的外部知识的可视矩阵来指导知识注入，这样，并非输入句子中所有token 都会受到外部知识的影响。
提出一种联合优化表示的集体训练算法。
注意，注入的外部知识应与上下文相关联；我们通过随机初始化添加了一些可学习的token，并对这些token和注入的token进行优化。由于，在低数据状态下提示调优是不稳定的，可能会获得较差的性能，我们进一步优化所有参数以集体训练本体文本和输入文本表示。

Methodology

OntoPrompt是一个通用框架，可以应用于多种任务，如Figure 2所示。本文在关系抽取、事件抽取和知识图谱补全任务上评估我们的模型。

General Framework with Prompt-Tuning

输入为句子与模板的拼接： $X_{prompt}=[CLS]X_{in}[SEP]T[SEP]$ ，其中包含一个[MASK]。输入到掩码语言模型之后，模型可以获得候选类别的分布概率： $p(y|X_{prompt})=\sum_{w\in v_y}^{}p([MASK]=w|X_{prompt})$ ，其中，w表示类y的第w个标签token。本文，将本体作为辅助提示，以注入知识并将其附加到输入序列模板中。

Ontology Transformation

在本文中，将本体表示为 $O=\left \{ C, E ,D \right \}$ ，其中，C是概念集合，E表示本体之间的连接边，D是每个本体的文本描述。概念集合是指特定领域的概念，如在RE和EE中利用与所述本体相关的类型本体等。对于不同的下游任务，每个任务利用不同的本体源进行本体转换。首先从外部知识图谱中抽取每个实例的本体，然后将这些本体转换为原始文本作为辅助提示。

应用于关系抽取
利用MUC来定义命名实体的概念。注意，命名实体可以提供重要的类型信息，这有利于RE。然后将这些定义用作本体模式中的文本描述，即将“[CLS] <InputText> [SEP] <Template> [SEP] <OntologyText> [SEP]”作为最终的输入序列。本文为<OntologyText>中的实体构造占位符，并用外部文本描述来替换这些占位符，并利用来自本体的实体对之间的路径作为元关系文本来增强<OntologyText>。
并将可学习的tokens，[u1]-[u4]，作为虚拟tokens添加到[MASK]的两边，使模型自动学习最合适的单词作为提示。
应用于事件抽取
构建了一个更大的事件本体，同样将“[CLS] <InputText> [SEP] <Template> [SEP] <OntologyText> [SEP]”作为最终的输入序列，为触发词构造占位符并在<OntologyText>中输入。
应用于知识图谱补全
外部Wikidata作为本体源，并提取文本描述。将知识图谱补全视为三元组分类任务，并链接实体和关系作为输入序列。与上述任务相同，将“[CLS] <InputText> [SEP] <Template> [SEP] <OntologyText> [SEP]”作为默认输入序列。

Span-sensitive Knowledge Injection

跨度敏感知识注入如Figure 3所示。使用一个可见矩阵来限制知识输入付输入文本的影响。在语言模型架构中，在softmax之前添加了一个具有自注意力权重的注意力掩码矩阵。注意力掩码矩阵如下：

以下情况 $x_i$ 可以注意到 $x_j$ ： $x_i$ 和 $x_j$ 均来自输入文本；均属于同一本体的文本描述； $x_i$ 来自输入文本中的实体， $x_j$ 来自它的本体描述文本。

Collective Training

首先，使用使用实词嵌入来初始化本体token，并使用固定的语言模型进行优化，然后优化了模型的所有参数，包括语言模型和本体token。

Experiments

RE：

EE：

KGC：

论文笔记：Ontology-enhanced Prompt-tuning for Few-shot Learning相关推荐

论文笔记：Template-free Prompt Tuning for Few-shot NER
论文来源:NAACL2022 论文链接:https://arxiv.org/pdf/2109.13532.pdf 代码地址: https://github.com/rtmaww/EntLM/ Abst ...
论文笔记 | 谷歌 Soft Prompt Learning ，Prefix-Tuning的 -＞ soft promt -＞ p tuning v2
论文笔记 | 谷歌 Soft Prompt Learning ptuning -> Prefix-Tuning -> soft promt -> p tuning v2 " ...
【论文笔记1】von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification
[论文笔记1]von Mises-Fisher Mixture Model-based Deep learning: Application to Face Verification 1 介绍人脸识 ...
【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
摘要 Unlike traditional supervised learning, which trains a model to take in an input x and predict an ...
论文笔记：Evolving Losses for Unsupervised Video Representation Learning
Evolving Losses for Unsupervised Video Representation Learning 论文笔记 Distillation Knowledge Distillat ...
论文笔记翻译——Enhanced LSTM for Natural Language Inference(ESIM)
文章目录 0.前言 1. 模型结构 1.1 input encoding 1.2 local inference modeling 1.3 inference composition 2. 模型实现 ...
【论文笔记】Enhanced Decentralized Autonomous Aerial Swarm with Group Planning
摘要:自主空中蜂群仍然是机器人技术的一大挑战.该领域的现有工作可分为集中式和分散式.集中式方法面临规模困境,而分散式方法往往导致规划质量差.在本文中,我们提出了一个具有群规划的增强型分散式自主空中群系 ...
【论文笔记-NER综述】A Survey on Deep Learning for Named Entity Recognition
本笔记理出来综述中的点,并将大体的论文都列出,方便日后调研使用查找,详细可以看论文. 神经网络的解释: The forward pass com- putes a weighted sum of th ...
【论文笔记】Details or Artifacts: A Locally Discriminative Learning Approach toRealistic Image Super-Reso
细节还是伪纹理:真实图像超分辨率的局部判别方法来自于CVPR2022,作者Jie Liang, Hui Zeng and Lei Zhang 论文地址:https://arxiv.org/abs/2 ...
论文笔记Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signa
Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals 引 ...

论文笔记：Ontology-enhanced Prompt-tuning for Few-shot Learning