利用交叉文档的attention信息来促进关键词生成

题目： Keyphrase Generation with Cross-Document Attention
网址： https://arxiv.org/pdf/2004.09800.pdf
代码地址： https://github.com/SVAIGBA/CDKGen
前沿： 这篇文章主要创新点在于采用了交叉文档，也就是针对当前文档和他有一定相似度的文档作为输入信息，用文章中的原意就是跨文档注意力和潜藏的话题分布。还有一个就是采用了transformer作为编码器和译码器。个人小想法，他这样做的假设应该是网络拟合能力是一定的，所以需要合理分配网络拟合位置，也就是让网络能够拟合那些共性的合理的信息，去除噪声对于网络的影响。

The Approach:
采用transformer作为编码器和译码器，增加copy机制，考虑融合从相似文档中抽取的潜在话题分布信息，然后进行生成。可以用如下公式展示：
Y = CDKGEN(d,M(d, D))

其中M表示从交叉文档attention产生网络，能够根据d从文档库中产生符合的attention信息，送入CDKGEN网络，然后产生符合条件的关键词Y，其中d是输入源文本。

net architechture

Cross-Document attention
实在不会LaTeX的公式编辑，回头有时间一定搞一下，如果有看到文章的，希望见谅。

文档集合用D表示，其中u表示的是输入文档的相似度和第k个文档的相似度，v表示第k个文档的输入表征。下面给出计算attention的公式：

其中o代表输入文档和所有文档的attention分数。

Integrating Cross-Document Attention with Transformer
作者整合交叉文档注意力和文档单词表征作为新的k送入译码器中，使得每个关键词能够根据新的融合单词表征做注意力处理。

Dataset:
kp20k,以及几个相关数据集

result:

利用交叉文档的attention信息来促进关键词生成相关推荐

利用DOCX文档远程模板注入执行宏代码
利用DOCX文档远程模板注入执行宏代码简介本地文件中在没有宏代码的情况下,攻击者可以尝试执行远程文件中宏代码.其中来自APT28的最新样本将此技术展现的淋漓尽致.该样本是docx文件,文件内没有任 ...
鱼叉钓鱼：利用 Office 文档进行 DDE 攻击
鱼叉钓鱼:利用 Office 文档进行 DDE 攻击 DDE DDE 是一个自定义字段,用户可插入文档.这些字段允许用户输入简单的说明,包括插入到新文档中的数据及插入位置.攻击者可以创建包含DDE字段 ...
海康服务器获取cms信息失败,织梦CMS文档读取频道信息失败,无法进行后续操作！...
今天因为一个织梦站所在的服务器到期了,需要搬家到另外一个服务器,于是按照织梦的搬家流程进行操作,恢复了数据库之后,点击[更新所有]出现了"dede文档读取频道信息失败,无法进行后续操作!&q ...
python之pdfminer:从PDF文档中抽取信息的工具
pdfminer是一个用于从PDF文档中抽取信息的Python库.它提供了一系列的功能,使我们能够读取和解析PDF文件,并从中提取文本内容.元数据.页面布局和图片等.本文将详细介绍pdfminer库的 ...
SiMayRAT：利用云文档HTTPS加密传输的远控家族
近期,我们观察到SiMayRAT家族[l2] 在2022年4月有所活动SiMAyRAT是一个远控家族,攻击者通过邮件鱼叉钓鱼方式将病毒植入到受害者后,病毒通过从云端下载第二阶段的控制代码执行,从而达到 ...
easypoi导出word表格_拒绝加班，批量将word文档中的信息高效率提取出来存储到Excel中...
最近,有小伙伴跟我提了一个需求,小伙伴是做扶贫工作的,从扶贫系统里面可以批量的导出每一户的信息到一个word文档中,导出的内容是在word中是以表格的形式存在的.小伙伴的需求是如何批量的将每个word ...
C# / VB 获取PDF文档的数字签名信息
文档中的数字签名具有不可否认性,可有效防伪防篡改.对文档中已有的数字签名信息,可通过一定方法获取,下面通过程序代码介绍如何来实现.程序中,使用了Spire.PDF.dll,版本:6.11.6,可自行在 ...
C#培训2019-9-30第十课 Dxf转档读取DXF文档读取圆信息生成 NC加工档
DXF格式资料 DXF文档原来是AutoCAD的专用格式,后来开发了.因此格式内容可以直接查看AutoCAD给出的帮助文档:http://docs.autodesk.com/ACD/2011/CHS/ ...
简历信息提取（七）：用ERNIE-Layout实现文档智能问答信息筛选
★★★ 本文源自AlStudio社区精品项目,[点击此处]查看更多精品内容 >>> 0 项目背景信息抽取任务旨在从非结构化的自然语言文本中提取结构化信息.在本系列项目中,将讨论如何 ...

利用交叉文档的attention信息来促进关键词生成

利用交叉文档的attention信息来促进关键词生成相关推荐

最新文章

热门文章