知识图谱推理论文阅读 Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs
一、主要贡献
1、提出了一种基于新出现事实的随时间演化的深度学习架构。动态进化网络将吸收新的事实，从中学习，并基于它们最近的关系和时间行为更新相关实体的嵌入。
2、除了预测事实的发生，我们的架构还能预测事实可能发生的时间，这是任何先前的关系学习方法都不能做到的。
3、模型支持开放世界假设，缺失的链接不被认为是错误的，而是可能在未来潜在地发生，由于其新颖的动态嵌入过程，它进一步支持对看不见的实体的预测。
二、时间点过程
给定所有时间t之前发生的事件的条件下，当前时刻发生事件的可能性。
给定t之前所有的历史事件的前提条件下，在[t,t+dt)窗口内观察到一个事件的条件概率。
其中，N（t）是在时间t之前记录的事件的发生的数量。，假设dt很小很小的时候，那么dN(t)只有两种可能：0或1。
同时在给定时间{t1.....tn}的情况下，对于任意的t>tn，在[tn,t)之间没有事件发生的条件概率为： 该项称为生存概率。
所以最终，一个事件在t时刻发生的概率为f(t):
也就是说：一个事件在已知之前时间t1,,,,,tn所发生事件的情况下，在t时刻发生的概率等于在[tn,t)区间内无事发生的概率乘上该事件本身在t时刻会发生的概率。
其中， 的设计取决于所选择的随机过程：比如Poisson Process,Hawkes process,Self-Correcting Process,Power Law 和 Rayleigh Process。
本文采用的是Rayleigh Process：即，以这样的形式表示:
=
其中>0，是个权重参数。 则根据上述的求生存概率的公式，可得
exp( ),则
本文的中心思想，是想用深度学习模型参数来拟合
三、进化知识网络
该网络主要由三个组件组成：
一个强有力的数学工具——时间点过程，可以建模一个事件的发生。
一个双线性关系评分机制，能够捕捉到实体之间的多关系交互，并调节上述点过程的密度函数。
一种新的深度递归网络，基于实体在多关系空间中随时间推移与其他实体的交互来学习实体的非线性和相互进化的潜在表示。
3.1时间过程
给定，（ ,r,
)其在t时刻发生的概率为：
其中， = 是指在时间t之前，主语或宾语实体参与到事件中的最近的时间点。f函数是指数函数。
g是聚合函数，其计算方式见3.2
3.2关系评分函数
该公式的意思是：分别取主语实体和宾语实体在t时刻前，最新更新过的嵌入向量。是d*d维的，即每一个关系r都对应一个关系矩阵。将它们乘起来。
这样能够捕获在影响实体嵌入的历史事件中积累的关于实体的知识。
3.3动态进化实体表示
上图都是下面这两个公式的可视化表示：
（以主语嵌入的更新为例）计算tp时刻的实体的嵌入分为以下几步：
计算-
,
表示：实体
最近的上一次参与到某个事件中的时间。时间这个数字是1维的，因此两者作差后时间差仍是1维，
是d*1维，与时间差相乘后结果是d维，即实体嵌入的特征维度。
是d*l维，l是隐藏层维度，隐藏层状态
的计算方法：（tp-是指在tp前的一个时间点，要与区分开，
是指实体上一次参与进事件的时间。）用
时刻的主语实体
的嵌入，与tp-时刻的宾语实体
的嵌入，和主语上一次所参与事件中的关系r的嵌入，作拼接，然后再乘上权重
。实体嵌入维度都d,关系嵌入维度为c，所以三者拼接后维度是（2d+c），故
的维度为l*(2d+c)，所以
，隐藏层的维度为l。
的维度是d*l，所以×
之后维度是d。再与d维的
相加，最后结果是d维。（注意：代表简单的拼接操作。）
模型的设计采用了RNN的结构，其递归层使用隐藏层信息来建模实体嵌入随时间的交织演化，具体来说，这一层有两个主要组成部分：
第一项捕获每个实体的相应维度上的连续事件之间的时间差。如果实体经历了不同事件，那么可以使它们的特征平滑地随时间变化。如果一个实体在同一个时间点发生了多个事件，那么这一项将不起作用。然而-
可能会表现出较大的变化，但相应的权重参数将会捕捉到这些变化，并于第二个项一起，防止
崩溃。
主客体实体的潜在特征相互影响。在多关系设置中，这进一步受到它们形成的关系的影响。对嵌入了来自隐藏层的信息的实体的循环更新允许捕捉一个实体相对于其自身和特定关系空间中的另一个实体的复杂的非线性和动态进化。
整个模型的参数空间：
是计算
时才用到的，
是实体的动态嵌入过程中，r对应的参数矩阵，若关系数量为n，则
应是n*c维的。两者不同。
四、训练过程
最小化损失函数：
知识图谱推理论文阅读 Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs相关推荐
- Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs
Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs Rakshit Trivedi 1 Hanjun Dai 1 Yic ...
- 时序知识图谱推理：Know-Evolve: Deep Temporal Reasoning for Dynamic Knowledge Graphs
0摘要: 带有时间戳的大规模事件数据的可用性催生了边带有时间的动态知识图谱.在动态的知识图谱中,并没有被很好的理解.基于此,本文提出Know-Evolve,这是一种新颖的深度进化知识网络,可以学习时序 ...
- 论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
论文链接:https://arxiv.org/abs/1705.05742 对于事件数据,需要动态更新的知识图谱来保存知识图谱中关系的时许信息.本文提出了 Know-Evolve 这种基于神经网络的动 ...
- 知识图谱综述论文阅读
论文摘要 论文为A Survey on Knowledge Graphs: Representation, Acquisition and Applications,发表日期2020年,论文PDF,点 ...
- 论文浅尝 | 变分知识图谱推理：在KG中引入变分推理框架
本文转载自公众号:机器之心. 推理知识图谱中缺失的连接已经吸引了研究界的广泛关注.在本论文中,加州大学圣塔芭芭拉分校的王威廉等研究者在知识图谱推理中引入了变分推理框架,并将路径搜索和路径推理紧密结合从 ...
- 论文浅尝 | Data Intelligence 已出版的知识图谱主题论文
本文转载自公众号:DI数据智能. 知识图谱被称为人工智能的基石,它的前身是语义网,由谷歌在2012年率先提出,用于改善自身的搜索业务.Data Intelligence执行主编.东南大学计算机科学 ...
- 论文浅尝 - EMNLP2020 | 基于规则引导的协作 agent 知识图谱推理学习
论文笔记整理:叶橄强,浙江大学在读硕士,研究方向为知识图谱的表示学习和预训练. 来源:EMNLP 2020 现有的大多数基于行走的模型通过在提供可解释的决策的同时获得良好的性能,在知识图谱推理中显示出 ...
- 论文浅尝 | 基于深度强化学习将图注意力机制融入知识图谱推理
论文笔记整理:陈名杨,浙江大学直博生. Introduction 知识图谱(KGs)在很多NLP的下游应用中起着越来越重要的作用.但是知识图谱常常是不完整的,所以解决知识图谱补全的任务也非常重要.主要 ...
- 论文浅尝 | 知识图谱推理中表示学习和规则挖掘的迭代学习方法
作者:张文,浙江大学在读博士,研究方向为知识图谱的表示学习,推理和可解释. 本文是我们与苏黎世大学以及阿里巴巴合作的工作,发表于WWW2019,这篇工作将知识图谱推理的两种典型方法,即表示学习和规则进 ...
最新文章
- DataList分页
- OpenGL学习（hello）
- 20211217 为什么正定矩阵的主子式都是正的？（注意是主子式，不止是顺序主子式）
- 推荐5款好用的安卓版RSS应用
- “阿一web标准学堂”第1课：web标准概述（附视频、课件、代码下载）
- 软硬件融合新时代——让软件够灵活，硬件够高效，鱼和熊掌可兼得
- c语言中islower是什么函数,C语言islower函数介绍、示例和实现
- 【CSRF-01】跨站请求伪造漏洞基础原理及攻防
- 怎么用电脑操控自己的手机 怎样用电脑控制手机？
- 计算机桌面锁定了没设密码怎么解锁,屏幕锁定怎么解锁？
- winuser.h(10105,3): error C2059: 语法错误:“(”
- 【征文】纸短情长叹朝夕
- java跨平台是什么意思_java的跨平台性指的什么
- Shapely的安装
- kafka-connect-jdbc 增加source报错：query may not be combined with whole-table copying settings
- surface android模拟,Surface Duo将支持Android小部件 模拟磁铁体验
- 来自 采摘~~ Python
- 诗仙诗圣，你还知道诗什么
- 如何解决error: failed to push some refs to ‘git@github.com:......git pull冲突问题
- python ogr_解决python ogr shp字段写入中文乱码的问题