1、简介

2、图神经网络最新范式的探索

背景

存在不足

Geometrically Equivariant Graph Neural Networks: A Survey

Equivariant Graph Neural Networks

Equivariant Graph Mechanics Networks with Contraints

Equivariant Graph Hierarchy-Based Neural Networks

Transformer for Graphs: An Overview from Architecture Perspective

Masked Transformer for Neighborhood-aware Click-Through Rate Prediction

总结和未来方向

3、小结

4、参考

视频

文献

1、简介

图学习研讨会（LOGS：Learning On Graphs Seminar）

报告时间

2022年7月2日 (星期六)

16:00 (北京时间)

主题

图神经网络最新范式的探索

主持人

周敏（华为诺亚方舟实验室）

报告嘉宾：荣钰（腾讯AI Lab机器学习中心）

报告题目：图神经网络的最新范式的探索

报告摘要：近年来，随着图深度学习的发展，图神经网络在多个领域都展示其应用潜力。尤其是基于消息传播的网络结构在大量任务上，都取得了不错的结果。但是，消息传播网络本身存在一些难以克服的缺陷以及对一些非传统数据无法做到全面建模等问题。这些问题局限了其模型的表达能力和在一些非传统图数据上的应用。本次分享将围绕最新的一些图神经网络范式进行讨论，并介绍我们在这一领域的一些最新研究成果。

报告人简介：荣钰博士，腾讯AI Lab机器学习中心高级研究员。深圳市政府认定海外高层次人才。荣钰博士于2016年于香港中文大学获得系统工程与工程管理博士学位及进行博士后研究。2017年6月加入腾讯AI Lab。主要研究方向是深度图学习算法以及大规模图系统。在相关方向发表高水平学术论文数十篇，包括KDD, WWW，NIPS，ICLR，CVPR，ICCV等数据挖掘和机器学习顶级会议。荣钰博士在图卷积神经网络，大规模深度图学习算法，的研究和应用上取得了一系列创新成果。主要应用领域包括社交推荐，药物研发，物理系统模拟等。

2、图神经网络最新范式的探索

背景

存在不足

Geometrically Equivariant Graph Neural Networks: A Survey

等变：先后操作顺序（scale和conv）变化不影响最终输出结果

不变：scale操作不影响最终输出判别的类别label

如何对几何旋转等操作保持不变，有下面三种方法

接下来针对标量化方法讲解

Equivariant Graph Neural Networks

核心就是将向量表示为标量后在放回原来的MPNN消息传递范式中

EGNN不足

不能加约束，有约束不能工作

Equivariant Graph Mechanics Networks with Contraints

改进前面不能加约束的弊端

连杆约束

其实就是将几何特征（有坐标）用向量表示法即广义坐标系（非笛卡尔坐标）解决，就是蛋白质分子无论从那个角度去观察还是旋转啥的不影响最终输出

扭转角加速度计算（以便前面的数值计算）

Equivariant Graph Hierarchy-Based Neural Networks

也就是将graph pooling引入

Transformer for Graphs: An Overview from Architecture Perspective

GNN：建模边和自身信息

Transformer:非边（节点注意力）

范式(trans（本身是全连接图）是全连接操作，会带来噪声，也可以用smoothing解决噪声，可以补全数据，但是和数据相关的，符不符合inductive bias）

1）先GNN做边（结构信息，是浅层的裁剪后的GNN）embedding更新，后Transformer计算pairwise注意力（为啥后用：是因为前面GNN有可能学习到与任务无关的节点或者边表示）

2）GNN将Trans的输出进行更新

3）GNN和Trans做sample然后并行输出

Trans并不能解决oversmoothing问题

解决也是通过残差连接解决的，比dropout更有效。Trans能训练的动也是因为用的残差。真正影响GNN模型泛化的是AXW堆叠多层时，W计算不动

点云方向

太卷了，CV上卷不动

Concat和+操作区别

荣老师说没区别

直接在attention上做改进

Masked Transformer for Neighborhood-aware Click-Through Rate Prediction

应用：微信平台推荐，想给客户推荐的视频和文章（公众号发的），推荐有主题：体育等。目标是希望用户点击

sample->Trans结构(4种子图mask注意力计算：图自身+特征属性+二分图+全图）->

总结和未来方向

在MPNN消息传递上的很难有发展，和其他技术的结合是发展趋势

3、小结

PPT可以参考（尤其背景部分和方法部分的现有工作部分）

讨论可以参考

4、参考

视频

录播视频链接 || LOGS 第2022/07/02期 || 腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索LOGS 第2022/07/02期 || 腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索_哔哩哔哩_bilibili录播视频链接 || LOGS 第2022/07/02期 || 腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索

文献

E(n)-Equivariant Graph Neural Networks, in ICML 2021
Constrained graph mechanics networks, in ICLR 2022
Masked Transformer for Neighborhood-aware Click-Through Rate Prediction, in SIGIR 2022
Equivariant Graph Hierarchy-Based Neural Networks, arXiv preprint
Transformer for Graphs: An Overview from Architecture Perspective， arXiv preprint
Geometrically Equivariant Graph Neural Networks: A Survey，arXiv preprint

【GNN报告】腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索相关推荐

【GNN报告】腾讯AI lab 徐挺洋：图生成模型及其在分子生成中的应用
目录 1.简介 2.An overview of Graph Generative Models and Their Applications on Molecular Generation 背景图 ...
学习iot_腾讯 AI Lab智慧农业组招收多名算法工程实习生 -- IOT/机器学习方向
帮转人贩帖,欢迎大佬们投递简历- 团队介绍本团队隶属腾讯AI Lab机器学习中心,由多位具有交叉学科背景的AI研究员领衔,目标通过探索最前沿的AI算法与IoT.精准农业种植技术的结合,产出高质量的科 ...
腾讯AI Lab联合清华，港中文长文解析图深度学习的历史、最新进展到应用
本文作者: 腾讯:荣钰.徐挺洋.黄俊洲:清华大学:黄文炳:香港中文大学:程鸿前言人工智能领域近几年历经了突飞猛进的发展.图像.视频.游戏博弈.自然语言处理.金融等大数据分析领域都实现了跨越式的进步 ...
腾讯AI Lab与Robotics X 2022年度回顾
感谢阅读腾讯AI Lab微信号第161篇文章.本文将进行2022年度回顾,祝大家新年快乐! 追求「比真实更真」,是贯穿 2022 年的大热点.基于大模型,AI 展现了令人兴奋的生成能力.与此同时,软硬 ...
腾讯AI Lab联合清华、港中文带来万字干货解析：图深度学习的历史、最新进展和应用
作者: 腾讯:荣钰.徐挺洋.黄俊洲:清华大学:黄文炳:香港中文大学:程鸿前言人工智能领域近几年历经了突飞猛进的发展.图像.视频.游戏博弈.自然语言处理.金融等大数据分析领域都实现了跨越式的进步并催 ...
腾讯AI Lab披露可信AI研究进展，解读20余项原创工作
感谢阅读腾讯AI Lab微信号第142篇文章.本文将介绍腾讯AI Lab在「可信AI」和科技向善的探索和最新研究成果. 近年来,人工智能算法被广泛地应用到医疗.金融.工业生产等多个重要领域,这些算法在 ...
对话腾讯AI Lab：即将开源自动化模型压缩框架PocketFlow，加速效果可达50%
整理 | Jane 出品 | AI科技大本营 [导语]腾讯 AI Lab 机器学习中心今日宣布成功研发出世界上首款自动化深度学习模型压缩框架--PocketFlow,并即将在今年10-11月发布开源代 ...
腾讯AI Lab开源世界首款自动化模型压缩框架PocketFlow：将深度学习装进口袋
来源:腾讯AI 实验室腾讯AI Lab机器学习中心今日宣布成功研发出世界上首款自动化深度学习模型压缩框架--PocketFlow,并即将在近期发布开源代码.这是一款面向移动端AI开发者的自动模型压缩 ...
ICASSP 2022 | 腾讯AI Lab解读14篇入选论文
感谢阅读腾讯AI Lab微信号第146篇文章.本文介绍腾讯 AI Lab 入选 ICASSP 2022 的 14 篇论文. ICASSP (International Conference on Ac ...

【GNN报告】腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索

1、简介

2、图神经网络最新范式的探索

背景

存在不足

Geometrically Equivariant Graph Neural Networks: A Survey

Equivariant Graph Neural Networks

Equivariant Graph Mechanics Networks with Contraints

Equivariant Graph Hierarchy-Based Neural Networks

Transformer for Graphs: An Overview from Architecture Perspective

Masked Transformer for Neighborhood-aware Click-Through Rate Prediction

总结和未来方向

3、小结

4、参考

视频

文献

【GNN报告】腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索相关推荐

最新文章

热门文章