GNN的可视化解释!

近来发现非常多的建模问题中都使用了GNN方法,便去学习了一番,后来发现了一篇非常不错的GNN的可视化解释文章,便将其翻译整理和大家一起分享。

目前图模型的应用非常广泛,最典型的如社交网络,蛋白质结构等。最近越来越多的图算法也被应用于搜索推荐,时间序列等的问题,并且都取得了非常大的成功,本文我们直观的不带有任何数学等形式的了解一下图神经网络。

大家一定会非常好奇,图神经网络究竟哪里好,它能学到其它网络学不到的东西吗?下面我们就一起来看看GNN是如何工作的。

1.关于图

图一般由两个核心模块组成,分别是:节点和边。

如上图所示,黑色的箭头是边的指向,表示一种关系,注意此处我们表示的是有向图。

虽然图很简单,但如果我们赋予节点和边不同的含义的话,那么图就可以非常多的信息,例如每个节点是用户,边是打电话的话,那么就可以表示一个电话相关的社交;如果节点是商品,边表示用户的购买顺序的话,那么就是一个用户的购物网络。

2.一些概念

recurrent单元,嵌入向量表示和前向神经网络。

我们假设特征向量是当前节点索引的一个热编码,标签用颜色表示,如下图所示:

所有的节点被转化为一个recurrent单元, 所有的边组成一个前向神经网络。

3.信息传递

一旦节点和边的转换完成,图就会在节点之间执行消息传递。这个过程也被称为Neighbourhood Aggregation,因为它涉及到通过有向边从给定引用节点周围的周围节点推送消息。

对于GNNs,对于单个参考节点,相邻节点通过边神经网络将其信息(embeddings)传递到参考节点上的递归单元中。递归单元的新嵌入将通过将所说的递归函数应用于当前embeddings和相邻节点embeddings的边缘神经网络输出的总和来更新。

注意:边神经网络输出的和(图中的黑色封套)是输出顺序的不变量。

4.传递之后最终得到的向量表示是什么呢?

执行了几次邻域聚合/消息传递之后,我们的每个节点单元就变成了一组全新的embedding。

  • 当前每个节点对自己和相邻节点的信息(特征)会有更多的了解,从而得到整个图更精确的表示。

为了在pipeline的更高层进行进一步的处理,或者简单地表示图,我们可以将所有embeddings相加,得到表示整个图形的向量。

  • 使用H比使用邻接矩阵往往效果更好,这些矩阵不代表图形的特征或独特方面,尽管存在任何图形扭曲-只是节点之间的边连接。

从上面的分析我们可以发现,在使用图的时候我们可以简单的将其划分为下面几步:

  • 给定一个图,首先将节点转化为递归单元,将边转化为前馈神经网络;
  • 对所有节点执行n次邻域聚合(消息传递)。
  • 对所有节点的嵌入向量求和得到图表示H。
  • 将H传递到更高的层中,或者使用它来表示图形的独特属性!

从上面GNN的直观解释中,我们知道了图形神经网络是如何工作的,那什么时候使用它会更为方便或者什么时候可以直接使用它呢?

  • 社交媒体中,对用户进行聚类的时候可以使用,依据每个用户follow和被follow的信息构建图,然后学习每个用户的embeddings信息聚类;
  • 内容推荐,依据用户流量内容的关联关系,对用户进行内容推荐;

当然,我觉得只要是能构建成图的数据,都可以尝试使用gnn。

GNN是什么?GNN怎么学?GNN何用?相关推荐

  1. 【GNN】GAT:Attention 在 GNN 中的应用

    今天学习的是剑桥大学的同学 2017 年的工作<GRAPH ATTENTION NETWORKS>,目前引用数量超过 1100 次. Attention 机制在 NLP CV 等领域被广泛 ...

  2. 【GNN】啥是GNN?GNN咋学?GNN何用?

    时晴,本文大多摘自引文Rishabh Anand的文章 GNN的可视化解释! 简 介 近来发现非常多的建模问题中都使用了GNN方法,便去学习了一番,后来发现了一篇非常不错的GNN的可视化解释文章,便将 ...

  3. 面对500篇GNN论文,心态差点儿崩了,幸好我有这本小书

    题图 | Computer vector created by stories - www.freepik.com 说起来,大学时代的图灵君也算得上是零挂科修完全部计算机课程的人才.怀着对前沿技术的满 ...

  4. Make GNN Great Again:图神经网络上的预训练和自监督学习

    来源:RUC AI Box本文约6500字,建议阅读13分钟本文梳理近年来 GNN预训练和自监督学习/对比学习的相关工作. 1 引言 近些年来,对图神经网络(GNN)的研究如火如荼.通过设计基于 GN ...

  5. 图神经网络GNN预训练技术进展概述

    来源:图与推荐本文约2800字,建议阅读5分钟本文为大家推荐四篇有关于GNN预训练的文章. 论文推荐 /introduction/ 机器学习的成功很大程度上取决于数据.但是,高质量的标记数据通常很昂贵 ...

  6. 万字综述,GNN在NLP中的应用,建议收藏慢慢看

    今天为大家解读的是由京东硅谷研发中心首席科学家吴凌飞博士等研究者最新发表的GNN for NLP综述,几乎覆盖了围绕NLP任务的所有GNN相关技术,是迄今为止GNN for NLP领域最全面最新的综述 ...

  7. Make GNN Great Again: GNN 上的预训练和自监督学习

    © 作者|侯宇蓬 机构|中国人民大学高瓴人工智能学院硕士一年级 导师|赵鑫教授 研究方向 | 图机器学习和推荐系统 1 引言 近些年来,对图神经网络(GNN)的研究如火如荼.通过设计基于 GNN 的模 ...

  8. 基于GNN的图表示学习及其应用

    文章内容概述 本文内容分两部分,第一部分为基于 GNN 的图表示学习,共包含两节,第1节主要从三种建模方法上对图表示学习进行对比阐述:第2节分别从两类无监督学习目标--重构损失与对比损失,对基于 GN ...

  9. GNN通俗笔记:图神经网络在推荐/广告中的应用

    原始视频:七月在线公开课<图神经网络在推荐广告场景中的应用>,课件可以打开视频页面下载 分享老师:推荐吴老师,推荐/广告算法专家,曾任部门算法负责人,年薪....不低 字幕校对:天保,全程 ...

  10. 【GNN存在的问题和未来研究方向】

    大热下的 GNN 研究面临哪些"天花板"?未来的重点研究方向又在哪? 转载 深度学习与图网络 目录 问题 引言 1 GNN 变得强大的条件 1.何为 WL 算法 ? 2.再看 GN ...

最新文章

  1. php数组包含对象吗,在包含数组的PHP对象上调用方法
  2. 二.第五单元     lvm管理
  3. python标准库书籍_Python标准库中文版 Python Standard Library 329页Python标准库合集
  4. Trie树:应用于统计和排序
  5. SQL*Loader 详解
  6. 1.3 编程基础之算术表达式与顺序执行 08 温度表达转化
  7. 用Python玩连连看是什么效果?
  8. Android之使用HttpURLConnection类查看网络图片以及网络源码
  9. 干掉Spring Cloud和Dubbo!阿里这个神级框架究竟有多牛?
  10. 编码原理(附一)--算术编码
  11. mysql语句命令_MySQL语句和命令大全
  12. 2.微服务:从设计到部署 --- 使用 API 网关
  13. Rational rose安装步骤
  14. Linux 服务器网卡驱动安装及故障排除
  15. 64位处理器与32位处理器的区别
  16. 猫哥教你写爬虫 047--scrapy框架
  17. 利用k8s集群部署第一个容器化应用
  18. java实现视频文件转换为flv(带文件缩略图)_java实现视频文件转换为flv(带文件缩略图)...
  19. 虚拟机VMWare Workstation最新官方原版 有效VMware7.1.4序列号 密钥 VMware7.1.4破解版破解方法 VMware7.1
  20. gpedit.msc打不开

热门文章

  1. 2019计算机java考试大纲,2019年计算机二级考试JAVA练习试题
  2. NTP时间戳转换成UTC时间的过程
  3. ​前程无忧公布2022秋招毕业生需求最多的15个行业和10个城市;利安德巴赛尔任命新CEO|美通社头条...
  4. 天路协同办公管理系统解决方案[1]
  5. 云计算机的服务类型,关于“云计算”的服务类型(上)
  6. 云计算与服务器有什么用,云计算服务器是什么?它有什么作用
  7. 连接阿里云物联网平台
  8. 相机姿态估计(四)--AP3P
  9. 连邦,8000万买回什么?
  10. 计算机组成组合逻辑电路,计算机组成原理组合逻辑电路.ppt