Graphormer

本文思考如何将Transformer的主体结构应用到图结构数据上。

作者认为将Transformer应用到图上最关键问题是如何适合地将图的结构信息整合到模型之中。自注意力机制只计算了节点和其他节点的语义相似性，而没有考虑图上节点的结构信息和节点对之间的关系。

作者采用了如下三种方式对结构信息进行编码

Centrality Encoding

中心性编码，用来衡量节点的重要性，通过节点的入度和出度来得到中心性编码

是基于入度和出度的可学习向量，如果是无向图，则出度等于入度。将其与原始节点特征相加作为输入。

Spatial Encoding

空间编码。序列数据空间信息固定，方便位置编码，而图的空间结构依赖于边的连接。作者使用最短路径来作为自注意力的偏置，以此来捕获结构信息

表示两个节点之间的最短路径，如果不存在，则为-1，是基于最短路径的可学习标量。通过最短路径，模型会更多关注邻近节点的关系，少关注远离节点的关系。

Edge Encoding in the Attention

作者认为将边的信息加入到相关节点中不是一个有效方式。作者同样采用了最短路径的方式，将边的信息编码到自注意力上。

表示节点i到节点j之间最短路径中第n个边的特征，是相应的权重参数。

Graphormer相关推荐

【Graphormer阅读笔记、实验与刷榜】《Do Transformers Really Perform Bad for Graph Representation?》
Graphormer阅读笔记 -- Huixuan Chi (AML@ByteDance) paper:https://arxiv.org/abs/2106.05234 code:https://gi ...
GNN与Transformer融合促进药物发现 | 2022几何图机器学习展望
导读:几何机器学习和基于图的机器学习是当前最热门的研究课题之一.在过去的一年中,该领域的研究发展迅猛.在本文中,几何深度学习先驱 Michael Bronstein 和 Petar Veličkovi ...
Transformer杀疯了！力压DeepMind、百度，在GNN大赛夺冠
AI圈可太 TM 魔幻了! 就在刚结束的KDD Cup 2021 和OGB 官方联合举办的第一届图神经网络竞赛OGB Large-Scale Challenge中,来自微软亚洲研究院(MSRA)和大连 ...
科研实习 | 北京大学智能学院贺笛老师招收NLP/GNN方向科研实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 北京大学北京大学智能学院不仅是国内首家智能科学与技术学科,而且引领了国内 ...
北京内推 | 微软亚洲研究院机器学习组招聘AI for Health实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 微软亚洲研究院微软亚洲研究院机器学习组致力于从算法.应用和理论层面推进人 ...
2021年图机器学习有哪些新突破？麦吉尔大学博士后一文梳理展望领域趋势
©作者 | 机器之心编辑部来源 | 机器之心图机器学习领域的热门趋势和重大进展. 又一年又接近尾声,还有两天我们就要告别 2021 年了. 各个 AI 领域也迎来了年度总结和未来展望,今天来讲一讲 ...
计算机视觉论文-2021-04-02
本专栏是计算机视觉方向论文收集积累,时间:2021年4月2日,来源:paper digest 欢迎关注原创公众号 [计算机视觉联盟],回复 [西瓜书手推笔记] 可获取我的机器学习纯手推笔记! 直达笔记 ...
2022年，图机器学习Graph ML发展到哪了？
原文链接:https://mgalkin.medium.com/graph-ml-in-2022-where-are-we-now-f7f8242599e0 对于 Graph ML 来说已经过去了一年 ...
北京内推 | 微软研究院科学智能中心招聘多模态学习方向研究实习生
合适的工作难找?最新的招聘信息也不知道? AI 求职为大家精选人工智能领域最新鲜的招聘信息,助你先人一步投递,快人一步入职! 微软研究院微软研究院科学智能中心(MSR AI4Science)致力于从 ...

Graphormer

Graphormer相关推荐

最新文章

热门文章