【知识图谱系列】六篇2020年知识图谱预训练论文综述 | 30页汇报ppt免费获取 | GCC，GraphCL，DGI，InfoGraph等模型
作者：CHEONG
公众号：AI机器学习与知识图谱
研究方向：自然语言处理与知识图谱
本文介绍六篇有关知识图谱预训练的优秀论文，大致上可分为两类，生成学习模型和对比学习模型。其中GPT-GNN模型是生成学习模型，模型灵感来源于自然语言处理中的GPT模型；GCC，GraphCL，DGI，InfoGraph和Multi-View这五篇属于对比学习模型。30页完整汇报ppt获取请关注公众号回复关键字：知识图谱预训练
一、背景知识
图谱预训练作用：图神经网络(GNNs)已被证明是建模图结构数据的强大工具。然而，训练GNN模型通常需要大量的特定任务的标记数据，而获取这些数据往往非常昂贵。利用自监督GNN模型对未标记图谱数据进行预训练是减少标记工作的一种有效方法，然后将预训练学习到的模型可用在只有少量标签图谱数据的下游任务。
Contrastive Learning 对比学习： 自监督学习方案常用的两种方式，一种是生成式学习，另一种就是对比学习。对比学习主要利用了样本间的约束信息构造辅助任务，通过构建正样本和负样本，然后度量正负样本的距离进行自监督学习。对比学习的关键就在于如何合理定义正负样本，也是难点所在。
Generative Learning 生成式学习：生成式方法以自编码器为代表，在自编码器中对数据样本编码成特征再解码重构，以此来学习样本的特征表达。
二、Paper PPT
三、往期精彩
【知识图谱系列】Over-Smoothing 2020综述
【知识图谱系列】基于生成式的知识图谱预训练模型
【知识图谱系列】基于2D卷积的知识图谱嵌入
【知识图谱系列】基于实数或复数空间的知识图谱嵌入
【知识图谱系列】自适应深度和广度图神经网络模型
【知识图谱系列】知识图谱多跳推理之强化学习
【知识图谱系列】知识图谱的神经符号逻辑推理
【知识图谱系列】动态时序知识图谱EvolveGCN
【知识图谱系列】多关系神经网络CompGCN
【知识图谱系列】探索DeepGNN中Over-Smoothing问题
【知识图谱系列】知识图谱表示学习综述 | 近30篇优秀论文串讲
【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读
【面经系列】八位硕博大佬的字节之旅
【机器学习系列】机器学习中的两大学派
各大AI研究院共35场NLP算法岗面经奉上
干货 | Attention注意力机制超全综述
干货 | NLP中的十个预训练模型
干货|一文弄懂机器学习中偏差和方差
FastText原理和文本分类实战，看这一篇就够了
Transformer模型细节理解及Tensorflow实现
GPT,GPT2,Bert,Transformer-XL,XLNet论文阅读速递
机器学习算法篇：最大似然估计证明最小二乘法合理性
Word2vec, Fasttext, Glove, Elmo, Bert, Flair训练词向量教程+数据+源码
汇报完整版ppt可通过关注公众号后回复关键词：知识图谱预训练 来获得，原创不易，有用就点个赞呀！
【知识图谱系列】六篇2020年知识图谱预训练论文综述 | 30页汇报ppt免费获取 | GCC，GraphCL，DGI，InfoGraph等模型相关推荐
- 论文浅尝 | 六篇2020年知识图谱预训练论文综述
转载公众号 | AI机器学习与知识图谱 本文介绍六篇有关知识图谱预训练的优秀论文,大致上可分为两类,生成学习模型和对比学习模型.其中GPT-GNN模型是生成学习模型,模型灵感来源于自然语言处理中的GP ...
- 【知识图谱系列】基于互信息最大化的图谱预训练模型DGI InfoGraph
作者:CHEONG 公众号:AI机器学习与知识图谱 研究方向:自然语言处理与知识图谱 本文介绍两篇基于互信息最大化的图谱预训练模型DGI(ICLR 2019)和InfoGraph(ICLR 2020) ...
- Android音视频学习系列(六) — 掌握视频基础知识并使用OpenGL ES 2.0渲染YUV数据
系列文章 Android音视频学习系列(一) - JNI从入门到精通 Android音视频学习系列(二) - 交叉编译动态库.静态库的入门 Android音视频学习系列(三) - Shell脚本入门 ...
- MICCAI 2020 | 基于3D监督预训练的全身病灶检测SOTA（预训练代码和模型已公开）...
关注公众号,发现CV技术之美 ▊ 研究背景介绍 由于深度学习任务往往依赖于大量的标注数据,医疗图像的样本标注又会涉及到较多的专业知识,标注人员需要对病灶的大小.形状.边缘等信息进行准确的判断,甚至需要 ...
- 论文浅尝 | ICLR 2020 - 图神经网络的预训练策略
论文笔记整理:杨帆,浙江大学计算机学院. 动机 现有的用于图结构的预训练方法要么只关注node-level,导致在图表示空间没有区分度,要么只关注graph-level,导致在节点表示空间没有区分度. ...
- NLP-预训练模型-2020：Electra【预训练任务RTD（ReplacedTokenDetection）替代MLM；借鉴GAN；生成器+判别器；判别器用于下游；比RoBert预训练速度大幅提升】
预训练模型(Pretrained model):一般情况下预训练模型都是大型模型,具备复杂的网络结构,众多的参数量,以及在足够大的数据集下进行训练而产生的模型. 在NLP领域,预训练模型往往是语言模型 ...
- WEBBASE篇： 第六篇， CSS知识4
CSS 1.框模型1.内边距属性:padding:value;padding-top / right / bottom / left:value;2.box-sizing作用:指定框模型的计算方式取值 ...
- 综述的综述！5 篇2020 年「图像分割算法」最佳综述论文详解
在过去的一年中,计算机视觉领域出现了许多优秀的工作,并推动了相关领域的技术发展与进步.极市平台对2020年出现的全部计算机视觉综述论文进行了分方向梳理.本篇文章为2020年图像分割方向的综述论文汇总, ...
- 【知识图谱系列】动态知识图谱表示学习综述 | 十篇优秀论文导读
作者:CHEONG 公众号:AI机器学习与知识图谱 研究方向:自然语言处理与知识图谱 本文分享一篇动态知识图谱表示学习综述汇报ppt,分享10篇优秀论文,简单介绍其核心思想,完整汇报ppt获取请关注公 ...
- Android音视频学习系列(五) — 掌握音频基础知识并使用AudioTrack、OpenSL ES渲染PCM数据
系列文章 Android音视频学习系列(一) - JNI从入门到精通 Android音视频学习系列(二) - 交叉编译动态库.静态库的入门 Android音视频学习系列(三) - Shell脚本入门 ...
最新文章
- 【每日一算法】求众数
- 三、CXF对Interceptor拦截器的支持
- WebService大讲堂之Axis2(3)：使用services.xml文件发布WebService
- linux获取read值,read命令读取用户输入
- 分析PCB技术印制电路板的可靠性设计(z)
- Android之网络请求通过协程+okhttp的没有做网络异常处理导致程序奔溃问题
- 2018蓝桥杯省赛---java---C---3(字母阵列)
- java 类库_Java基础类库
- POJ3979 分数加减法【水题】
- ASP.NET Web Pages 和 WebMatrix （Razor Syntax、Forms、Data、Grid、Chart、Files、Images、Video）的学习资源...
- POJ2752 （Seek the Name, Seek the Fame，kmp）
- Matlab绘制单缝、光栅、圆孔、矩孔衍射图样
- python for line in sys.stdin读文件，按行处理
- (转)文通慧视的用法
- Acme CAD Converter 的线宽要怎么设置啊
- 一文读懂 select count(*) 底层原理
- 双系统(ubuntu系统与window系统)时间不一致的解决办法
- 论文写作 计算机类顶会顶刊，及论文发表指导
- mysql 42000 1064_mysql主从复制或其他操作报错ERROR 1064 (42000): You have an er
- 15000个常用的英语单词