[仅个人学习用] 知识图谱 刘知远老师 TransE
ML = representation + objective + optimization
1.representation
表示学习的基本思想是提出一种所谓的Distributed Representation，或者是Embedding，用一个低维的向量空间，把每个词都表示到空间里面的某一个位置。这样，我们就可以利用词和词之间在这个空间中的距离来衡量词与词之间的语义关系，这就是表示学习的基本目标。
我们现实世界是一个离散的世界，这个世界里面每个物体相互之间都是独立的，有比较明确的界限，因此可以称为离散的世界。但是人脑表示这些物体的时候，都是表示为很多神经元上抑制和激活的状态。也就是说，我们用神经元上不同的抑制和激活状态来表示不同的物体。因此，虽然现实世界是离散的世界，但是在人脑的认知世界中，都被表示到连续的空间中。从这个角度来看，我们刚才所说的那种低维向量表示，其中每一维都可以看成是人脑的神经元。
现实世界带有非常强的层次性，比如人有头、四肢和躯体，头又可以分成头发、眉毛、五官等等。在认知世界里面也会对应存在这种层次性，即神经网络的层次结构。现在非常流行的深度学习技术就是由于引入了“深度”的层次性结构，带来了很多任务性能的革命性提升。
所以，人脑的这两个特点，对应到表示学习的两个特点，这两个特点就是：第一，采用分布式表示来表征现实世界的对象，即采用连续的空间表示对象。第二，采用深度的多层神经网络实现对现实世界的层次性建模，这也是表示学习的重要思想。
可以说，表示学习有非常强的认知基础。而同时，对于自然语言处理而言，也有着非常重要的现实意义，主要体现在两个方面，第一个方面，大规模自然语言处理面临非常强的数据稀疏难题，传统方法无法很好解决。而通过构建低维向量表示空间，我们把所有对象映射到这个空间里面，就可以利用这个空间的连续性较好地处理数据稀疏问题。另外一个好处是，可以实现不同领域以及不同对象之间的知识迁移。在自然语言处理中，我们关心的对象非常多，从最基础的词到句子，到文档，以及知识，我们如何更好地计算它们之间的语义关联呢？比如说给你一个句子、一个文档，怎么判断他们之间的语义关系？对传统的自然语言处理而言，这是非常难的事情。通过将这些对象映射到统一的空间中，我们将能够非常容易地计算它们之间的语义关系。因此，我们认为对于自然语言处理来讲，表示学习是非常重要的技术，也是近年来自然语言处理领域非常关心的方向。
知识图谱是一种特殊网络，其中每个节点代表现实世界中的实体，而节点间的边表示实体之间的关系。知识图谱一般用三元组形式组织知识，每个三元组包括一个头实体、一个尾实体以及它们之间的关系。这是知识图谱的基本表示形式。有两种代表性的知识图谱，一个是语言知识图谱WordNet，包含了英语中词与词之间的同义、反义、上下位等关系。Wordnet是自然语言处理常用的语言知识库。另外一种知识图谱Freebace是世界知识图谱，包含了现实世界中人、地点、机构等实体以及它们之间的关系，例如，乔布斯是苹果公司的创始人等。
在这个模型中，每个实体和关系都表示成低维向量。那么如何怎么学习这些低维向量呢？我们需要设计一个学习目标，这个目标就是，给定任何一个三元组，我们都将中间的relation看成是从head到tail的一个翻译过程，也就是说把head的向量加上relation的向量，要让它尽可能地等于tail向量。在学习过程中，通过不断调整、更新实体和关系向量的取值，使这些等式尽可能实现。
TransE面临的若干挑战
很多情况下TransE关于h + r = t的假设其实本身并不符合实际。为什么呢？假如头实体是美国，关系是总统，而美国总统其实有非常多，我们拿出任意两个实体来，比如奥巴马和布什，这两个人都可以跟USA构成同样的关系。在这种情况下，对这两个三元组学习TransE模型，就会发现，它倾向于让奥巴马和布什在空间中变得非常接近。而这其实不太符合常理，因为奥巴马和布什虽然都是美国总统，但是在其他方面有千差万别。这其实就是涉及到复杂关系的处理问题，即所谓的1对N，N对1、N对N这些关系。刚才例子就是典型的1对N关系，就是一个USA可能会对应多个tail entity。为了解决TransE在处理复杂关系时的不足，研究者提出很多扩展模型，基本思想是，首先把实体按照关系进行映射，然后与该关系构建翻译等式。
TransH和TransR均为代表扩展模型之一，其中TransH由MSRA研究者提出，TransR由我们实验室提出。可以看到，TransE在实体预测任务能够达到47.1的准确率，而采用TransH和TransR，特别是TransR可以达到20%的提升。对于知识图谱复杂关系的处理，还有很多工作需要做。这里只是简介了一些初步尝试。
结合知识图谱
过去就有人利用关系路径判断两个实体之间的关系，取得了非常好的效果。我们现在想说，在知识表示学习中，不只考虑直接的关联关系，还应当考虑两个实体之间的关系路径。这里有个重要问题，任给两个实体，如何把它们之间的关系路径也表示成向量，这就涉及到组合语义问题。
我们提出利用相加、相乘、循环神经网络的形式来实现组合语义，利用关系路径中每个关系的表示，得到关系路径的表示。这样我们就得到一个扩展的TransE模型，把关系路径表示成向量，然后构建h + r = t等式。
可以看一下扩展版TransE的性能。通过这些表格我们可以看到，考虑关系路径的模型在实体预测有超过35%的提升，这个提升是非常显著的。而在关系预测上，也有10%的提升，这个提升也非常明显。
如果我们能够很好地考虑关系路径，任给两个关系，假如它们形成一个路径的话，我们可以得到这个路径对应的关系，比如说某个关系路径是：“出生地点”和“地点所在国家”，通过模型可以推测出这个路径对应着关系“国籍”。
https://github.com/thunlp/KB2E
https://github.com/thunlp/OpenKE
http://www.cbdio.com/BigData/2016-03/03/content_4675344.htm
[仅个人学习用] 知识图谱 刘知远老师 TransE相关推荐
- 知识图谱表示学习 TransE: Translating Embeddings for Modeling Multi-relational Data
知识图谱表示学习 TransE: Translating Embeddings for Modeling Multi-relational Data 表示学习是深度学习的基础,将数据用更有效的方式表达 ...
- 知识图谱表示学习Transe TransD TransR等的评价指标 hit@10、mean rank的理解
最近学习了知识图谱数值表示方式的学习算法,包括TransE.TransD.TransR等,看到提到的评价指标有hit@10.mean rank等,一开始对于这些指标并不清楚.在看了一篇Transe的实 ...
- SHU语义网与知识图谱
SHU语义网与知识图谱 文章目录 SHU语义网与知识图谱 前言 课程笔记 第一讲:语义网概述 第二讲:RDF和RDFs RDF部分 RDFs及其形式语义 第三讲:本体论与OWL语言 本体论 OWL语言 ...
- 知识图谱文献综述（第二章 知识表示学习）
第二章 知识表示学习 1. 任务定义.目标和研究意义 知识表示是知识获取与应用的基础,因此知识表示学习问题,是贯穿知识库 的构建与应用全过程的关键问题.人们通常以网络的形式组织知识库中的知识, 网络中 ...
- [转发]知识图谱 （Knowledge Graph） 专知 荟萃
知识图谱 (Knowledge Graph) 专知 荟萃 入门学习 大规模知识图谱技术 王昊奋 华东理工大学 [http://history.ccf.org.cn/sites/ccf/xhdtnry. ...
- 知识图谱嵌入内容整理
以下内容均来自于网络,笔者将其整理到这篇博客中,侵删. 知识嵌入知识点 知识图谱嵌入 定义:为了解决前面提到的知识图谱表示的挑战,在词向量的启发下,研究者考虑如何将知识图谱中的实体和关系映射到连续的向 ...
- 知识图谱neo4j入门教程
因为研究生需要学习知识图谱,在网上找了一些教程没有很合适的,所以在此记录所学方便以后查看.(会陆续更新,学到哪写到哪,先按照我自己的笔记写了,等有人看再整理顺序吧.) PS:本人是个小白,写的比较通俗 ...
- 技术动态 | 「知识图谱嵌入技术研究」最新2022综述
转载公众号 | 专知 知识图谱(KG)是一种用图模型来描述知识和建模事物之间关联关系的技术. 知识图谱嵌入(KGE)作为一 种被广泛采用的知识表示方法,其主要思想是将知识图谱中的实体和关系嵌入到连续的 ...
- 【知识图谱】 | 《知识图谱——方法、实践与应用》阅读笔记
<知识图谱--方法.实践与应用>的阅读笔记 知识图谱--方法.实践与应用 第1章 知识图谱概述 1.1 什么是知识图谱 1.2 知识图谱的发展历史 1.3 知识图谱的价值 1.4 国内外典 ...
最新文章
- Python之路(第三十八篇) 并发编程：进程同步锁/互斥锁、信号量、事件、队列、生产者消费者模型...
- Linux MTD系统剖析【转】
- 和php交互的过程_JavaScript学习笔记（二十三） 服务器PHP
- 冲击SuperGLUE：基于多任务与对抗训练的Finetune方案解析
- 安装iis 配置iis
- 温度表达转化（信息学奥赛一本通-T1013）
- 过程中存根的作用有_[马哲54]人民群众在创造历史过程中的决定作用
- 华为nova7se乐活版支持鸿蒙,华为nova7se乐活版和畅享20se哪个好 参数区别对比评测...
- 简要说明php数组的类型,php数组的概述及分类与声明代码演示
- SRv6技术研究和组网设计
- WORD中如何进行双行合一
- iMindMap2020 中文旗舰免费版
- speedoffice（Excel）表格如何添加边框？
- Zabbix 网络发现
- 无线测温系统应用 对变电所进行实时的在线监测 生产高效安全
- 键盘、鼠标各键对应的ASCII码值
- macM1芯片通过第三方安装php
- 拉格朗日插值法 C语言实现
- Ubuntu16.04安装graph-tool采坑指南
- java 排班日历,排班考勤表的制作也很简单，赶快来试试吧
热门文章
- shopify是什么_Shopify与WooCommerce –哪个是更好的平台？ （比较）
- 如何用python统计英语文章词频？
- Python中copy和deepcopy中的区别
- python中copy和deepcopy详细区别
- solidworks2020绿色精简版
- python实现低通滤波_python中的低通滤波器
- 博文视点官方博客http://blog.csdn.net/bvbook
- pd15不能连接oracle11g,PowerDesigner15 使用时的十五个问题附解决方法
- 直击|为防虚假信息 百合佳缘引入第三方征信查询合作
- 密码学-侧信道论文梳理-A Highly Efficient Correlation Power Analysis on PRINT cipher