TGN：Temporal Graph Networks论文解读
公众号 异度侵入
“
图神经网络（GNNs）的研究已经成为今年机器学习领域的热门话题之一。GNNs最近在生物、化学、社会科学、物理等领域取得了一系列成功。但GNN模型目前以静态图上偏多，然而现实世界许多关系是动态的，比如社交网络、金融交易和推荐系统，动态的变化包含了许多重要信息，只考虑静态图，很难捕捉到其中信息。
”
本篇文章发表在ICLR2020上，对动态图的节点进行连接预测。TGN中，作者除利用传统的图神经网络捕捉非欧式结构生成embedding外，还利用动态图所中时序信息。在本篇公众号里主要介绍TGN中embedding以及memory的更新机制，包含一小部分源码。
时序图示例
01
TGN模型结构
下图为TGN 的一个例子，包含了编码部分和解码部分，在文章中主要是介绍了如何使用TGN进行编码，生成embedding，文章中选择MLP层作为解码器。上面的图片可以理解为，对于节点2和节点4连接的可能性的预测，首先通过TGN生成t8时刻节点2和节点4的embedding，然后通过解码器生成节点2和节点4在t8时刻的连接的可能性。
02
Embedding
Embedding,已经为人熟知许久，只不过embedding的事物越来越复杂。如下图所示为TGN中embedding的方式。以layer=3所在节点为例子，通过采样得到layer=2的邻居节点，同样layer=2的节点通过采样得到layer=1节点，采样结束后。通过聚合layer=2的全部信息，包括layer=2层节点信息，以及时间信息得到layer=3节点的embedding，其中非欧式信息通过聚合邻居信息得到，时序信息通过对当前时间戳进行编码得到，参与聚合。这样同时得到时序信息和非欧结构信息。
03
Memory更新机制
Message Function：通过msg函数将节点之间的信息（节点自身feature，embedding，time编码）整合到一起，这类似于消息传递机制，msg源代码只是两层全连接。
msg源代码
Memory Updater ：用于将过去的状态与新的message聚合，聚合方式如rnn等。
04
Overall
如下图所示为计算的整个流程图
关注该公众号
TGN：Temporal Graph Networks论文解读相关推荐
- TGN：Temporal Graph Networks for Deep Learning on Dynamic Graphs
2.Background 2.1 Deep learning on static graphs 一个静态图 G=(V,E)\mathcal{G}=(\mathcal{V},\mathcal{E})G= ...
- 论文模型构建的步骤_Deep Learning of Graph Matching论文解读
原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不能用于商业目的. 其它机器学习.深度学习算法的全面系统讲解可以阅读<机器学习-原理.算法与应用>,清华大学出版社,雷明 ...
- Exploring the Connection Between Binary andSpiking Neural Networks论文解读
Exploring the Connection Between Binary andSpiking Neural Networks论文解读 前言 总说 提出B-SNN(论文中为Ⅲ) 实验和结果(论文 ...
- 论文阅读 TEMPORAL GRAPH NETWORKS FOR DEEP LEARNING ON DYNAMIC GRAPHS
- Spatial Transformer Networks 论文解读
paper title:Spatial Transformer Networks paper link: https://arxiv.org/pdf/1506.02025.pdf oral or de ...
- LASS: Joint Language Semantic and Structure Embedding for Knowledge Graph Completion 论文解读
Joint Language Semantic and Structure Embedding for Knowledge Graph Completion 代码:pkusjh/LASS: Code ...
- DE-PPN：Document-level Event Extraction via Parallel Prediction Networks论文解读
Document-level Event Extraction via Parallel Prediction Networks paper:Document-level Event Extracti ...
- AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks论文解读
题目:AttnGAN:具有注意的生成对抗网络的细粒度文本到图像生成 时间:2018 作者:Tao Xu, Pengchuan Zhang, Qiuyuan Huang, Han Zhang, Zhe ...
- 【论文解读 ESWC 2018 | R-GCN】Modeling Relational Data with Graph Convolutional Networks
论文题目:Modeling Relational Data with Graph Convolutional Networks 论文来源:ESWC 2018 论文链接:https://arxiv.or ...
最新文章
- 计算机 配置不过4000,台式机4000元以上免谈,非主流配置免谈
- sdut-1158 C语言实验——两个数最大
- Java遍历完数的一些思考
- 洛谷P1527 [国家集训队] 矩阵乘法 [整体二分，二维树状数组]
- 如何在Chrome工具栏中固定和取消固定扩展程序
- Ubuntu 14.04 LAMP搭建(Apache 2.47+MySQL 5.5+PHP5.5)
- 新版CSDN中如何快速转载别人的CSDN博客，详细方法与步骤！！！
- DxO FilmPack 5详细教程：对照片进行艺术渲染，使其具有专业电影的色彩和颗粒感
- 如何用VNC远程管理Linux桌面
- linux串口结构termios,Termios--串口设置
- 2012年7月份第2周51Aspx源码发布详情
- 串口仪器控制（下篇）——利用虚拟串口模拟仪器
- cad快速看图能合并图纸吗_CAD快速看图可以图纸对比吗？可以！
- 饭店合同免费下载|股份合同免费|餐厅股份合作协议书
- 房产|1月全国70城房价出炉！疫情放开后你关心的城市房价有何变化
- vim高亮多处，搜索多个关键词
- Mac电池越来越不给力？教你检查电池健康度
- SIM卡交换方案的工作原理
- getParentFile()方法的一些使用技巧
- 物联卡中心：物联卡实名制安不安全？