【GNN报告】GNN可解释性 基于几何与拓扑特性的图学习
目录
1、中国科学技术大学 王翔: GNN可解释性
简介
GNN可解释性背景
后事可解释性
2022 TPAMI Reinforced Causal Explainer for Graph Neural Networks
Deconfounding to Explanation Evaluation in Graph Neural Networks
内在可解释性
2022 ICLR Discovering Invariant Rationales for Graph Neural Networks
2022 ICML Let Invariant Rationale Discovery Inspire Graph Contrastive Learning
2022 CVPR Invariant Grounding for Video Question Anawering
小结
2、IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习
简介
背景
方法
2020 ICLR Curvature Graph Network
2021 ICML Link Prediction with Persistence Homology: An Interactive View
2022 ICML Cycle Representation Learning for Inductive Relation Prediction
结论
小结
3、参考
1、中国科学技术大学 王翔: GNN可解释性
简介
报告嘉宾
王翔（中科大）
报告摘要
随着图神经网络（GNN）的日益成功，GNN 的可解释性引起了相当大的关注。作为一种流行的生成事后解释（Post-hoc Explanation）的技术，特征归因将 GNN 的预测分布到输入图的特征上，从而突出显着特征。然而，目前的工作主要集中在统计可解释性上，难以区分输入特征对结果预测的因果影响和非因果影响，并且几乎无法量化特征之间的冗余，从而导致事后解释失真。在本次报告中，我们将介绍两种新型方案：基于多粒度的类“预训练-精调”事后解释，基于强化学习的“因果筛选”事后解释，并进一步针对事后解释衡量框架的失真性进行探索，引出基于不变学习的内在可解释（Intrinsically Interpretable）图神经网络，不仅可以使得预测透明化，而且还可以增强模型的泛化能力与鲁棒性。
报告人简介
王翔，中国科学技术大学特任教授、博导。2019年于新加坡国立大学取得计算机科学博士学位，师从Chua Tat-Seng教授。研究方向包括信息检索与推荐、数据挖掘、可解释与可信人工智能、图深度学习等，在相关CCF A类国际顶级会议和期刊发表论文50余篇，包括TPAMI、NeurIPS、SIGIR、KDD、CVPR、IEEE S&P等，谷歌学术引用6900余次。在2022年AI 2000人工智能最具影响力学者“信息检索与推荐”领域排名第13。担任众多顶级期刊、会议审稿人与程序委员。个人主页：http://staff.ustc.edu.cn/~xiangwang。
参考文献
1. Discovering Invariant Rationales for Graph Neural Networks. Yingxin Wu, Xiang Wang, An Zhang, Xiangnan He, Tat-Seng Chua. ICLR'2022.
2. Let Invariant Rationale Discovery Inspire Graph Contrastive Learning. Sihang Li, Xiang Wang, An Zhang, Yingxin Wu, Xiangnan He, Tat-Seng Chua. ICML'2022.
GNN可解释性背景
为啥需要解释性？
可以从feature、structure、framework等方面入手
后事可解释性
后事解释性：站在第三视角（已经有输入以及输出结果上），借助一个模型，给其一个决策，来解释
2022 TPAMI Reinforced Causal Explainer for Graph Neural Networks
Deconfounding to Explanation Evaluation in Graph Neural Networks
子图和全图有偏移
从causal graph 角度来分析
核心思想：也就是从全图中找到子图后，将子图保留，其余部分删除，让模型脑补出全图，将脑补部分丢给模型训练，查看模型准确度
粉色是学的，青色是模型学的，一定程度上修正了
内在可解释性
事后可解释性存在不足，于是开启新的可解释方式
就是在输出预测时，同时可以观测出一个subgraph（一定程度上白盒化）
2022 ICLR Discovering Invariant Rationales for Graph Neural Networks
现实世界中的数据模式
也就是拆成两部分做：从全图到子图，从子图到预测
找到一种模式可以（以不变）应对万变
核心：保留关键组件红色（可以进而和其他模式组合成任意形式）
2022 ICML Let Invariant Rationale Discovery Inspire Graph Contrastive Learning
上述工作前移到预训练上
现有方法框架
1）大多都是基于全图整出来几个view试图做对比学习
2）目标是：尽可能让相似的聚合在一起，不同的距离越远些
现有方法不足
1）随机的有损
2）知识引导的耗时且泛化能力有限
想要可以保留原有语义信息基础上还可以不依赖于专家
本方法
确实可以找到一些官能团
2022 CVPR Invariant Grounding for Video Question Anawering
用在视频问答
小结
QA
1）可以用在节点分类上吗？
目前都是用在图分类上，因为一个causal graph对应一种图，要是用于节点，则一个节点要对应一个 causal graph了。当然，也可以用于节点分类上。
2）在节点上做可解释性的话，因为有些节点可能无用的。那这样的话，如何判断节点预测具有可解释性再去做可解释？
节点上，关注local信息，共通信息抽取出来后细化到其他节点上用（很有意义的，尤其是对hrad example上的使用）
2、IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习
简介
报告主题
Graph Learning with Geometric and Topological Structures
报告嘉宾
马腾飞（IBM沃森研究院）
报告摘要
Graph data prevails in a broad spectrum of application domains from social science, finance, to biological and medical sciences. In recent years, graph neural network (GNN) has emerged as a powerful tool for many graph learning problems such as node/graph classification, graph generation and recommendations. Despite the tremendous success of GNNs, there remain a lot of challenges such as over-squashing and limited expressivity. Many GNN issues are essentially connected to geometry and topology, e.g. curvature is related to over-squashing and counting cycles is related to the expressive power of GNNs. In this talk, I will introduce our recent works about how geometric and topological features can be used in GNNs to make them more powerful. In particular, we used Ricci curvature to better represent local structure information in graph convolution; we used persistent homology to enhance the performance of link prediction and proposed a new GNN-based method to approximate persistent homology; and we explored cycle-based rule learning for knowledge graph reasoning.
报告人简介
马腾飞，IBM沃森研究院研究员，本科毕业于清华大学，随后分别于北京大学和东京大学取得硕士和博士学位，研究方向为图深度学习、自然语言处理和智能医疗等。他是《图神经网络：基础与前沿》一书的作者，在NeurIPS、ICLR、ICML、AAAI等人工智能国际会议和期刊上发表论文50多篇，在AAAI与KDD上讲授过关于图神经网络前沿的专题，并获得过ISWC2021的最佳论文奖。
个人主页：
https://researcher.draco.res.ibm.com/researcher/view.php?person=ibm-Tengfei.Ma1
参考文献
1. Zuoyu Yan, Tengfei Ma, Liangcai Gao, Zhi Tang, Chao Chen. Cycle Representation Learning for Inductive Relation Prediction. In The 39th International Conference on Machine Learning (ICML), 2022.
2. Zuoyu Yan, Tengfei Ma, Liangcai Gao, Zhi Tang, Chao Chen. Link Prediction with Persistence Homology: An Interactive View. In The Thirty-eighth International Conference on Machine Learning (ICML), 2021.
3. Ze Ye, Kin Sum Liu, Tengfei Ma, Jie Gao, Chao Chen. Curvature Graph Network. In the Eighth International Conference on Learning Representations (ICLR2020).
背景
过深出现过平滑，但是最近出来一个新的问题：就是over-squashing，同样也是deep导致的
1）类比RNN模型，将历史信息压缩到最后一个单元上，就会出现bottleneck
2）在GNN上，其他节点压缩到“根”节点上，但最后一个节点装不下那么多信息
Curvature曲率引入，主要有下面三种
正式定义
图是离散的，需要离散曲率定义
方法
2020 ICLR Curvature Graph Network
就是将曲率引入替代GAT的注意力系数计算？！
2021 ICML Link Prediction with Persistence Homology: An Interactive View
2022 ICML Cycle Representation Learning for Inductive Relation Prediction
WL-test测不出来区别：可以通过拓扑，如cycle数量来辅助解决
结论
小结
几何GNN，这块我其实没怎么关注，听的也比较懵
3、参考
LOGS 第2022/09/25期 || 中国科学技术大学 王翔: 图神经网络可解释性
LOGS 第2022/09/25期 ||IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习
LOGS 第2022/09/25期 || 中国科学技术大学 王翔: 图神经网络可解释性_哔哩哔哩_bilibili
LOGS 第2022/09/25期 ||IBM沃森研究院 马腾飞: 基于几何与拓扑特性的图学习_哔哩哔哩_bilibili
【GNN报告】GNN可解释性 基于几何与拓扑特性的图学习相关推荐
- 【GNN报告】腾讯AI lab 徐挺洋：图生成模型及其在分子生成中的应用
目录 1.简介 2.An overview of Graph Generative Models and Their Applications on Molecular Generation 背景 图 ...
- 【GNN报告】加拿大蒙特利尔唐建：图几何学习与药物发现
1.简介 报告嘉宾:唐建(加拿大蒙特利尔算法研究院,加拿大蒙特利尔大学商学院) 报告题目:Geometric Deep Learning For Drug Discovery 报告摘要 报告人简介 唐 ...
- 【GNN报告】GNN-LOGS部分报告汇总
Bastain Rieck: Topology-Based Graph Representation Learning 基础 拓扑学习 基于拓扑学习的工作 参考 Bastain Rieck: Topo ...
- 【GNN报告】腾讯AI Lab机器学习中心荣钰：图神经网络最新范式的探索
目录 1.简介 2.图神经网络最新范式的探索 背景 存在不足 Geometrically Equivariant Graph Neural Networks: A Survey Equivariant ...
- 【GNN报告】耶鲁大学Rex Ying(应智韬): 双曲表示学习与知识图谱
目录 1.简介 2.Hyperbolic Embeddings and Knowledge Graphs 背景 双曲空间 知识图谱 编辑编辑 3.参考 1.简介 本人因为关注图学习领域发展,于是将 ...
- 【GNN报告】ICT敖翔：图机器学习应对金融欺诈对抗攻击
目录 1.简介 2.图机器学习应对金融欺诈对抗攻击 背景 图机器学习识别金融欺诈 挑战 挑战1-类别不平衡的解决 挑战2-标签不可信的解决 挑战3-分布有漂移的解决 图机器学习应对欺诈对抗攻击 从数据 ...
- 【GNN报告】考虑拓扑信息的图神经网络学习
1.简介 打算之后在本博客里存放BAAI里面邀请的所有演讲者有关GNN的报告学习(本人筛选的都是自己感兴趣的或者感觉还不错的) 2.报告 腾讯林衍凯:图神经网络,考虑「拓扑信息」会怎样? [专栏:前沿 ...
- 【GNN报告】 北京大学张牧涵：谱图神经网络有多强大？
目录 1.简介 2.谱图神经网络有多强大? 背景 核心模块JacobiConv 实验 结论 3.小结 4.参考 1.简介 报告嘉宾:张牧涵(北京大学) 报告题目:谱图神经网络有多强大 报告摘要: 谱图 ...
- PGL图学习之图神经网络GNN模型GCN、GAT
在4922份提交内容中,主要涉及13个研究方向,具体有: 1.AI应用应用,例如:语音处理.计算机视觉.自然语言处理等 2.深度学习和表示学习 3.通用机器学习 4.生成模型 5.基础设施,例如:数据 ...
最新文章
- synchronous_commit 参数的再次说明
- Hadoop RPC机制的使用
- apache phoenix 安装试用
- WSE 3.0异步调用, MTOM, Custom Policy Trace Assertion
- pl/sql过程（一）
- TCP的三次握手过程与四次挥手
- So Easy!（HDU - 4565）
- 在浏览器中运行java applet
- 自搭Ngrok实现内网穿透centos6
- 使用鸿蒙原生做游戏适配问题
- alize blue_逆战歌曲大全_2016逆战大厅背景音乐汇总一览_快吧游戏
- iOS---Xcode中删除描述文件Provisioning Profiles
- jsp中你必须记住的379
- 贝叶斯信念网络简介以及算法整理笔记
- 前度面试总结，被问的概率极大
- Java——I/O（字符编码、内存流、打印流、System、输入流、序列化）
- pip升级失败，pip拒绝访问
- 记一款游戏--《程序员升职记》
- H264H265格式
- 闲谈|如何查阅行业报告和行业数据？