论文浅尝 | GMNN: Graph Markov Neural Networks
论文笔记整理:吴锐,东南大学硕士研究生,研究方向为自然语言处理
来源:ICML 2019
链接:http://proceedings.mlr.press/v97/qu19a/qu19a.pdf
问题定义
弱监督下的在关系数据中的对象分类。形式化地来说,给定一个图G,图上有结点V表示一系列对象,在对象间存在有一系列边E,且每个结点都有对应的属性XV。当前已知部分结点L的标签,目的是推测出剩余结点U的标签值。
相关工作
该问题当前主要可以从两个方向进行研究:
1)统计关系学习(SRL, Statistical Relational Learning)
以统计模型来对关系数据进行建模,代表性的方法有条件马尔可夫网络(relational Markov networks)和马尔可夫逻辑网(Markov logic networks)。这些方法通常使用条件随机场来对对象之间的依赖关系进行建模,也正是因为这种建模的有效性,这些方法能够在弱监督的对象分类上取得不错的效果。
2)图神经网络(GNN, Graph Neural Network)
通过非线性的神经结构,能够以端到端的方式学习到有效的对象表示(representation),从而解决对象分类的问题。例如图卷积网络(graph convolutional networks)可以有效地将周围结点的信息学习到结点的表示当中。这类方法由于能够有效地从关系数据中学习到对象的表示,目前已经达到了SOTA的表现。
存在的问题
在传统的统计关系学习方法中,存在着以下缺陷:
1) 由于这些方法通常采用CRF进行建模,因此需要手动地构造一些特征函数来作为势函数的组成部分,而这些特征函数往往是启发式的,从而导致了模型的能力有限;
2) 由于对象之间关系结构的复杂性,导致难以推理(inference)出未知标签的结点U的后验分布(posterior distribution)。
在图神经网络的方法中,由于各个结点的标签是根据相关的表示分别预测的,因此忽略了各个结点的标签之间的依赖性
方法
提出图马尔可夫神经网络(GMNN, Graph Markov Neural Network),结合了SRL与GNN的优点,既能够学习到有效的结点表示,也能够对结点标签之间的依赖进行建模。
具体来说,GMNN仍然以CRF对已知结点标签之间的联合条件概率分布(以所有结点的属性为条件)进行建模。
该模型可以有效且高效地通过变分EM框架进行优化,在推断(E步)与学习(M步)中不断交替、迭代。
在E步中,由于具体的后验分布是难以计算的,因此引入了平均场近似(mean-field approximation)。
受摊还推断(amortized inference)的启发,同样使用一个GNN来参数化结点标签的后验分布,该GNN能够学习到有利于标签预测的结点的表示。
目标函数如下:
可以理解用变分的方法,不断减小q与真实的后验分布之间的KL散度,使得q不断逼近真实的后验分布(式11),同时由于部分已知标签的存在,因此该部分结点标签的概率分布直接使用真实值即可(式12)。
E步的形式化过程如下图:
在M步中,由于直接优化似然函数存在困难,因此以优化伪似然(pseudolikelihood)的方式来代替极大似然方法。
用一个GNN来参数化局部的结点标签的条件概率分布。
这样就能够对结点标签之间的依赖性进行建模,并且不需要手动构建势函数。目标函数如下:
M步的形式化过程如下图:
具体的优化算法如下:
OpenKG
开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。
点击阅读原文,进入 OpenKG 博客。
论文浅尝 | GMNN: Graph Markov Neural Networks相关推荐
- 文献学习(part12)--GMNN: Graph Markov Neural Networks
学习笔记,仅供参考,有错必纠 文章目录 GMNN: Graph Markov Neural Networks Abstract Introduction 相关著作 统计关系学习 基于图的半监督分类 图 ...
- 【论文导读】- Variational Graph Recurrent Neural Networks(VGRNN)
文章目录 文章信息 摘要 Background Graph convolutional recurrent networks (GCRN) Semi-implicit variational infe ...
- 论文浅尝 | CFO: Conditional Focused Neural Question Answering
Zihang Dai, Lei Li, and Wei Xu. 2016. CFO: Conditional focused neural question answering with large- ...
- 论文浅尝 | 图神经网络综述:方法及应用
论文链接:https://arxiv.org/pdf/1812.08434.pdf GNN相关论文列表链接:https://github.com/thunlp/GNNPapers 近日,清华刘知远老师 ...
- 论文浅尝 | 当知识图谱遇上零样本学习——零样本学习综述
随着监督学习在机器学习领域取得的巨大发展,如何减少人工在样本方面的处理工作,以及如何使模型快速适应层出不穷的新样本,成为亟待解决的问题.零样本学习(Zero-Shot Learning, ZSL)的提 ...
- 论文浅尝 | 近期论文精选
本文转载自公众号 PaperWeekly, 对我们近期的论文浅尝进行了精选整理并附上了相应的源码链接,感谢 PaperWeekly! TheWebConf 2018 ■ 链接 | https://ww ...
- 每天一篇论文 323/365 Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning
每天一篇论文汇总list Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning 摘要 ...
- Action Recognition Using Attention-Joints Graph Convolutional Neural Networks翻译
对Action Recognition Using Attention-Joints Graph Convolutional Neural Networks(19年ieee上的一篇)这篇论文的翻译,可 ...
- ###好好好#######论文浅尝 | 基于图注意力的常识对话生成
论文浅尝 | 基于图注意力的常识对话生成 OpenKG 祝各位读者新春快乐,猪年吉祥! 来源:IJCAI 2018. 论文下载地址:https://www.ijcai.org/proceedings/ ...
最新文章
- @scheduled cron动态修改_spring boot实现动态增删启停定时任务
- R语言使用psych包的fa函数对指定数据集进行因子分析(输入数据为相关性矩阵)、使用rotate参数指定进行斜交旋转提取因子、使用nfactors参数指定抽取的因子个数、fa函数因子分析结果解读
- WindowsAPI开发常用资料
- Mybatis教程-实战看这一篇就够了
- powermock模拟对象_使用PowerMock模拟构造函数
- 【同行说技术】教你玩转iOS的5篇技术干货
- python 折线图中文乱码_彻底解决 Python画图中文乱码问题--Pyplotz组件
- Linux环境下编程有哪些优势?
- 使用特殊字体实现特殊报表效果
- comet4j简单应用、文档教程
- 如何配置filezilla服务端和客户端
- matlab%低通滤波器设计,matlab 低通滤波器设计及实现
- 计算机发展的新用途应用,新时期计算机技术的应用及发展趋势
- python中re.group()
- 计算机软件职业资格注册,计算机软件职业资格证具体需要考什么科目
- java上传加密_Java实现文件的加密与解密
- Cannot find entry: /target/m2e-wtp/web-resources
- linux的du和df命令
- minSdk(API 26) deviceSdk(API 17)
- Oracle索引梳理系列(一)- Oracle访问数据的方法
热门文章
- 仿WINDWS无限级Ajax菜单树升级1.3版(修补了严重BUG)
- equals()与==的区别
- recovery模式下支持ADB连接和串口操作
- 从未知到2019年的文章汇总
- C语言中sizeof详解——面试C/C++
- Python3 —— 变量和简单数据类型
- linux cocos环境变量,Linux开发cocos2dx程序环境搭建
- 自带flash的浏览器_解决Flash插件已被屏蔽的问题(谷歌、火狐、IE、Edge)
- OpenCV_11 轮廓检测:图像的轮廓+绘制轮廓+轮廓近似+边界矩形+椭圆拟合+直线拟合
- IDEA初次使用Tomcat运行项目(如何添加加载项目到Tomcat)