Evolving Taxonomy Based on Graph Neural Networks

摘要

分类法是人类对领域知识的理解和组织。在这个知识爆炸的世界中，如何自动进化分类法变得至关重要。在本文中，我们介绍了一种以半监督学习方式自动更新分类法的模型。在我们的模型中，目标是训练一个图神经网络模型，该模型可以有效地将新添加术语与现有术语之间的边分类为三种类型：真正的下位词-上位词关系、转导下位词-上位词关系和假下位词- 上位关系。我们探索了图卷积神经网络、双曲图卷积神经网络和图注意力网络完成这项任务的能力。我们对 SemEval-2016 Task 13 数据进行了实验，以测试通过进化获得的分类法与获胜团队的再生算法相比的质量。

介绍

分类法或概念层次结构是实体的树形语义层次结构（下位词-上位词关系）的组合。我们一直专注于从头开始或使用非常有限的种子术语自动构建分类法。然而，在更常见的实际情况下，我们可能需要在现有分类法的基础上演进分类法。
在本文中，我们提出了一种基于图神经网络的半监督分类进化算法，以识别新添加术语和现有术语的真实下位词-上位词关系、转导式下位词-上位词关系和假下位词-上位词关系。

基于图神经网络的分类法自动更新模型

我们的分类学演变方法包括四个主要步骤：

(1) 构建真正的下位词-上位词对的初始图，包括图中的转导对。
(2) 将节点的语义词向量拼接为边表示向量。
(3) 应用边-节点变换，聚合成以原始边为节点的新图。
(4) 用图神经网络训练节点分类模型。

边缘表示：我们使用下位词和上位词的预训练词向量（Glove、fastText 和 ELMo）的串联作为边向量表示。

边缘节点转换：边节点转换简单直接。对于每两条边，如果它们有一个公共节点，则这两条边将是节点，该节点将是连接的边。该算法可以很容易地用折线图来实现。
对于图 G，LineGraph[G] 中的每个节点对应于 G 中的一条边。
我们在图 1 中展示了从原始图到边节点转换图的图处理示例。对于有向原始图，我们可以添加另外两条用黄色点线表示的转换边。然后我们应用边节点转换，产生孤立节点 E c e ， E d c ， E b e ， E d e E_{ce} ，E_{dc} ，E_{be}，E_{de} Ece，Edc，Ebe，Ede 。然后将这些孤立节点附加到根节点。

图神经网络：在本文中，我们探索了图神经网络从噪声图中学习并预测正确标签的能力的最新进展：图卷积神经网络 (GCN) 、双曲图卷积神经网络 (HGCN) 和图注意网络。

总结

在本文中，我们提出了基于图神经网络的方法来进化分类法。然而，与最近最先进的算法相比，我们并没有取得太大的成功。我们总结了失败的几个原因：首先，我们只使用一小部分分类作为训练数据。其次，边节点变换导致完全不同的图拓扑，在某些情况下会导致很多孤立节点，环境域就是这种情况。

图卷积网络和双曲图卷积神经网络是分类学构建中很有前途的工具。未来，我们将进一步探索设计这两种算法的损失函数，以优化真实关系类和转导关系类的性能。另一个方向是直接对边缘进行分类

论文阅读：基于图神经网络的分类法自动更新模型相关推荐

论文阅读|基于图神经网络的配电网故障定位方法
来源:北京交通大学硕士学位论文,2022 摘要电网拓扑形态多样,重构场景频繁,,传统故障定位方法的单一阈值设定无法满足要求,基于人工智能的配电网故障定位技术具有很大的应用潜力,但仍存在着拓扑关联性差 ...
[论文阅读] (22)图神经网络及认知推理总结和普及-清华唐杰老师
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
顶会CIKM‘21论文解读：基于图神经网络的人类行为轨迹恢复模型
摘要:本文是由华为云数据库创新Lab联合电子科技大学数据与智能实验室发表在顶会CIKM'21的文章,该文章提出首个克服人类移动轨迹数据中普遍存在的多层次周期性.周期偏移现象以及数据稀疏问题的轨迹恢复模 ...
[论文阅读] (27) AAAI20 Order Matters: 基于图神经网络的二进制代码相似性检测（腾讯科恩实验室）
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
SIGIR 2019 开源论文 | 基于图神经网络的协同过滤算法
作者丨纪厚业单位丨北京邮电大学博士生研究方向丨异质图神经网络,异质图表示学习和推荐系统引言协同过滤作为一种经典的推荐算法在推荐领域有举足轻重的地位.协同过滤(collaborative fil ...
ICLR 2022 | 香侬科技提出基于图神经网络的语义理解模型，获单项满分
©作者 | 香侬科技来源 | 香侬科技近日,深度学习国际顶级会议ICLR 2022向作者公布了论文录用结果.香侬科技3篇论文被大会收录,研究内容覆盖通用自然语义理解.NLP神经网络模型安全性.自动 ...
当图网络遇上计算机视觉！计算机视觉中基于图神经网络和图Transformer的方法和最新进展...
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入-> CV 微信技术交流群可能是目前最全面的<当图网络遇上计算机视觉>综述!近四 ...
基于图神经网络的聚类研究与应用
Datawhale干货本文编辑:Datawhale 用手机上网的时候,总有种感觉,推荐的视频是我爱看的,推荐的美食是我爱吃的,大家长的又好看,说话又好听. 有时候会对自己发出灵魂拷问:难道隐私被记录 ...
MILA研究院唐建：基于图神经网络的关系推理（附视频）
2020 北京智源大会本文属于2020北京智源大会嘉宾演讲的整理报道系列.北京智源大会是北京智源人工智能研究院主办的年度国际性人工智能高端学术交流活动,以国际性.权威性.专业性和前瞻性的" ...

论文阅读：基于图神经网络的分类法自动更新模型

Evolving Taxonomy Based on Graph Neural Networks

摘要

介绍

基于图神经网络的分类法自动更新模型

总结

论文阅读：基于图神经网络的分类法自动更新模型相关推荐

最新文章

热门文章