一、摘要

图神经网络(GNNs)已经成功地从图中学习表示。许多流行的gnn遵循聚合-转换的模式:它们聚合邻居的属性，然后用一个可学习的函数转换聚合的结果。对这些gnn的分析解释了哪些非同图对具有不同的表示。然而，我们仍然缺乏对这些表述有多相似的理解。我们采用核距离，并提出transform-sum-cat作为聚合变换的替代方案，在邻域聚合中反映节点邻域之间的连续相似性。这个想法导致了一个简单而有效的图相似性，我们称之为Weisfeiler-Leman相似性(WLS)。与现有的图形内核相比，WLS很容易用常见的深度学习框架实现。在图分类实验中，transform-sum-cat方法明显优于其他流行的GNN模型的邻域聚合方法。我们还开发了一种基于transform-sum-cat的简单快速的GNN模型，与广泛使用的GNN模型相比，该模型在节点分类方面具有更高的精度，在图回归方面具有更低的绝对误差，在图生成的对抗训练方面具有更高的稳定性。

文章主要内容

图的深度学习自然需要研究具有连续属性的图，目前还不清楚输入图之间的相似性如何反映在GNN表示之间的距离上。提出了一种反映GNN体系结构相似性的方法，所得的简单GNN模型具有较强的经验性能和效率，从连续性的角度出发有助于改善GNN架构。

二、结论

与主要采用的聚合变换操作相反，我们提出了一种图神经网络的transform-sum-cat方案。对于连续节点属性，我们给出了transform-sum-cat比aggregate-transform更好的例子。
基于transform-sum-cat定义了一个简单而有效的图相似度，它很容易用深度学习框架实现。相似性是对Weisfeiler-Leman图同构检验的扩展。
我们基于transform-sum-cat构建了一种简单的图神经网络，该网络在节点分类和图回归方面都优于目前广泛使用的图神经网络。我们还展示了我们的建议在一次性生成分子图的一个有前途的应用。

在图核领域，有两点不足，

快速和高效的内核不能反映节点属性的平滑变化。
平滑的基于匹配的内核缓慢而且昂贵。

于是本文提出了一种反映GNN体系结构相似性的方法，引入一个平滑地反映属性连续变化的图核，同时也非常简单和快速。从连续性的角度出发，来改善GNN架构。

三、WL算法

算法的论文在这里：Weisfeiler-Lehman Graph Kernels

假设要测试同构的两张图为GGG和G′G'G′，那么在结点vvv的第iii次迭代里，算法都分别做了四步处理：标签复合集定义、复合集排序、标签压缩和重标签。

标签复合集定义
如果是第一次迭代， vvv的标签复合集里只有一个元素，就是vvv的标签。
如果不是第一次迭代，vvv的标签复合集元素就是vvv的所有邻居在上一轮迭代里，生成的标签。
复合集排序
首先，对复合集里的元素进行升序排序，并把排序好的元素拼接为一个字符串sss；然后把vvv在上一轮迭代生成的标签作为前缀，添加到这个sss里。
标签压缩
对两张图GGG和G′G'G′中所有结点的字符串sss，进行升序排列；然后通过映射函数fff，把每一个sss映射成一个压缩标签，并且当且仅当s1=s2s_1 = s_2s1=s2时，生成的压缩标签才一样。
也是说，压缩标签类似于sss的标识符，而映射函数f完全可以用计数函数来实现。其实只要能让sss和压缩标签一一对应，前面的对sss进行升序排列这一步就没必要做了。
重标签
将压缩标签作为结点vvv在两张图中的第iii轮标签。
如果GGG和G′G'G′在这一轮生成的标签集不一样，那么这两张图就不是同构的，算法直接结束。

例

首先说下每个图的意思

a：网络中每个节点有一个label，如图中的彩色的1，2，3，4，5；
b：标签扩展：做一阶广度优先搜索，即只遍历自己的邻居。
比如在图（a）网络G中原（5）号节点，变成( 5, 234) ，这是因为原（5）节点的一阶邻居有2，3，4；
c：标签压缩：仅仅只是把扩展标签映射成一个新标签，如5,234⇒135,234\Rightarrow135,234⇒13
d：压缩标签替换扩展标签
e：数标签：比如在G网络中，含有1号标签2个，那么第一个数字就是2。这些标签的个数作为整个网络的新特征。

稳定后，统计两张图的label的分布，如果分布相同，则一般认为两张图是同构的。

可以继续下去，发现每个对应数字的节点的标签扩展都是相同的，所以上面两张图都稳定了，且分布相同，所以可以认为两张图是同构的。

四、WLS

将核距离理论应用于WL算法，产生的一个简单而快速的图相似性。

Weisfeiler–Leman similarity
WLS kernel
WLS neural network

代码地址：WLScode_github

【论文泛读15】深度学习的图形相似度相关推荐

TIP 2018论文概述：基于深度学习的HEVC复杂度优化
作者丨徐迈.李天一等学校丨北京航空航天大学博士生研究方向丨视频编码与深度学习本文概述了 2018 年 6 月发表在 IEEE TIP 期刊的论文 Reducing Complexity of ...
【论文泛读】 ResNet：深度残差网络
[论文泛读] ResNet:深度残差网络文章目录 [论文泛读] ResNet:深度残差网络摘要 Abstract 介绍 Introduction 残差结构的提出残差结构的一些问题深度残差网络 ...
【每周CV论文推荐】初学深度学习单张图像三维人脸重建需要读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 基于图像的人脸三维重建在人脸分析与娱乐领域里 ...
【论文泛读】 Deep Learning 论文合集
[论文泛读] Deep Learning 论文合集文章目录 [论文泛读] Deep Learning 论文合集 Batch Normalization: Accelerating Deep Netw ...
【论文泛读】 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
[论文泛读] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift ...
【每周CV论文推荐】初学深度学习人脸属性分析必读的文章
欢迎来到<每周CV论文推荐>.在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的. 人脸属性分析在社交娱乐,人机交互等领域有重要 ...
表单识别（五）——票据识别-论文研读：基于深度学习的票据识别系统设计与实现，卞飞飞（上）
(论文研读:基于深度学习的票据识别系统设计与实现,卞飞飞:) 引言: 传统的文本检测与识别算法主要指利用数字图像处理等非深度学习技术进行文本检测的方法,依赖于数字图像特征(如颜色.纹理.轮廓.形状等特 ...
「DLP-KDD 2021征文」及上届论文全集，包含深度学习推荐/广告系统、多目标、模型服务等
「DLP-KDD 2021征文」及上届论文全集,包含深度学习推荐/广告系统.多目标.模型服务等在DLP-KDD 2021征稿之际,为大家准备了DLP-KDD2020的全部文章和资源列表,内容涵盖了几 ...
论文 | 图理论 | 2021年斯坦福大学Jiaxuan You博士论文《用图赋能深度学习》译读摘要和感谢
图科学实验室Graph Science Lab 2022-05-09 00:29 封面下载: https://stacks.stanford.edu/file/druid:mz469rn9516/P ...

【论文泛读15】深度学习的图形相似度