Tang等人提出了 MKRL，它可以将实体描述、层次类型和文本关系与三元组相结合，证明了多源信息对知识表示的有效性

摘要

知识表示学习方法通常只利用三种事实，或只考虑一种额外的信息。在本文中，我们提出了一个多源知识表示学习(MKRL)模型，该模型将实体描述、层次类型和文本关系与三重事实相结合。具体地说，对于实体描述，使用卷积神经网络来获取表示。对于分层类型，使用加权分层编码器构造分层类型的投影矩阵，实体的投影矩阵将实体的所有分层类型投影矩阵与关系特定的类型约束组合在一起。对于文本关系，采用句级注意机制进行表征。利用数据集FB15k-237对知识图完成任务的MKRL模型进行了评价，实验结果表明，我们的模型优于现有的方法，表明了多源信息在知识表示方面的有效性。

1.介绍

知识图(KGs)包含了实体和关系的大量结构化信息，已成功应用于各个领域，如知识推理(Yang, W， & He, 2015)、问题回答(Yin, Jiang， & Lu, 2015)和信息检索(Han, Chen， & Tian, 2018)。典型的KG，例如Freebase (Bollacker, Evans, Paritosh, Sturge， & Taylor, 2008)或DBpedia (Lehmann, 2015)，通常用表示为(头部实体，关系，尾部实体)的三重事实建模多关系信息，也被简化为(h, r, t)。由于三重事实表示是符号的，人们必须为KG应用程序设计大量基于图的方法。由于计算效率低和数据稀疏性，这些方法在大规模的KGs上是不可行的。

为了解决这一挑战，KGs的表示学习(Bengio, Courville， & Vincent, 2013)被提出。表示学习的目标是从数据中学习表示。KGs的表示学习着重于学习实体和关系的表示(Dong, Gabrilovich, Heitz, Horn， & Lao, 2014)，它可用于有效度量实体和关系的语义相关性，缓解KGs中的稀疏性问题。TransE (Bordes, Usunier, García-Durán, Weston， & Yakhnenko, 2013)是一种经典方法，它只使用KG中的三重事实，通过最小化基于边际的损失函数来学习实体和关系的表示。TransE引起了许多研究者的关注(Wang, Zhang, Feng， & Chen, 2014;Lin, Liu, Sun, Liu， & Zhu, 2015)，不仅因为其性能领先，还因为所需参数较少。

知识有望加强其他智能应用，例如问答系统(Dong, Wei， & Zhou, 2015)，其中也涉及非结构化文本。与此同时，主流知识库，如维基百科(Ryu, Jang， & Kim 2014)和NELL (Carlson等人，2010)，包含简洁的实体描述、内容知识和关系提及。实体描述是描述实体的文本，其中并非每句话都包含所描述的实体。图1显示了从Freebase采样的三事实(简·奥斯汀，《傲慢与偏见》的作者)中对两个实体的描述。额外的文本提供上下文证据，以帮助学习更好的表述。因此，语境增强的KGs表征学习的研究变得繁荣起来(Mikolov, Chen, Corrado， & Dean, 2013)。DKRL (Xie, Liu, Jia, Luan， & Sun, 2016a)是一种前沿方法，它基于TransE，使用深度神经网络模型合并实体描述。

分层类型信息存在于大多数典型的KGs中(例如Freebase (Bollacker et al.， 2008)和DBpedia (Lehmann, 2015))，这些信息也可以从大型百科全书中收集，例如Wikipedia。在Freebase中，分层类型被安排在一个类似于文件目录的域、类型和属性的层次结构中，其中属性属于类型，类型属于域(Bollacker et al.， 2008)。域被认为是最一般的一层，属性被认为是最具体的一层。在千克中，层次类型信息是非平凡的。为了利用这些信息，提出了TKRL (Xie, Liu， & Sun, 2016b)，以确保实体在强调不同层次类型时具有多重表示。例如，当提到电视和一本书时，Pride and Prejudice分别代表e1和e2，且e1≠e2。图2显示了一个三重事实与从Freebase采样的部分层次类型相结合。Entity Jane Austen有三种层次类型:book/author, award/award-nominee, and music/artist.。对于分层类型book/author, book and author分别对应于域和类型。粗体字的层次类型book/author和book/written_work是关系中头部实体Jane Austen和尾部实体Pride and Prejudice中最重要的层次类型。

域、类型和属性从大到小包含关系。。。

DKRL和TKRL分别只考虑实体描述信息和分层类型信息。此外，没有考虑关系的文本信息，这些信息可以通过远程监督获得(Zeng, Liu, Chen， & Zhao, 2015)，即一种为关系提取模型准备训练样本的方法。文本关系是包含相应实体对的句子。远程监督的假设是，如果两个实体涉及一个已知的关系，任何包含这两个实体的句子都可能表达该关系。远距离监督的假设并非绝对正确，对于不表达这种关系的句子，可能会分配一种关系，这被称为错误标签问题(Takamatsu, Sato， & Nakagawa, 2012)。如图3所示，文本关系表示单个句子中存在的实体之间的关系。Toutanova、Chen、Pantel和Poon(2015)将关系的文本信息视为词汇化的依赖路径，并基于它们学习关系表示。

为了学习KG中实体和关系的优化表示，我们提出了多源知识表示学习(MKRL)模型，将三重事实信息与实体描述、层次类型和文本关系中的丰富信息结合起来。具体来说，对于实体描述信息，使用卷积神经网络(CNN)，它考虑了语序。对于层次类型信息，使用加权层次编码器(WHEs)构造层次类型的投影矩阵，实体的投影矩阵将实体的所有层次类型投影矩阵与特定于关系的类型约束相结合。对于文本关系，首先将其表示为词汇化的依赖路径，然后使用基于位置的CNN嵌入句子的句法结构。然后，针对远程监督中标签错误的问题，我们采用了句子级的注意机制，期望降低吵闹实例的权重，赋予重要句子较高的权重。

本文的主要贡献总结如下:

我们提出了综合考虑三重事实、实体描述、层次类型和文本关系信息的MKRL模型。
我们采用一种句子层面的注意机制，它可以利用所有信息性的文本关系。我们使用考虑词序的CNN对实体描述进行编码。我们使用WHEs来构造分层类型投影矩阵，并用特定于关系的类型约束投影一个实体。
我们利用数据集FB15k-237 (Toutanova & Chen, 2015)对提出的KG完成任务模型进行了评估，并将其与最先进的方法进行了比较。实验结果表明，MKRL模型具有较好的竞争性能。

本文的其余部分的结构如下:下一节描述了kg表示学习的相关工作。第三节给出了四种表示的公式并定义了所要解决的问题。第4节首先简要介绍了MKRL模型的体系结构，然后详细介绍了实体描述编码器、文本关系编码器和分层类型投影。第5节描述了实验数据集、设置和结果。我们将在第6节中提出结论和未来的工作。

2.相关工作

关于KG的表征学习的著作越来越多，根据是否使用额外信息可将其分为两类。此外，我们还提出了基于远程监督的关系抽取工作。

2.1. 基于结构的KGs表示学习

目前，KGs的表示学习方法多种多样，其中许多方法将实体和关系都编码到一个连续的低维向量空间中。TransE (Bordes et al.， 2013)是学习KG中实体和关系表示的传统方法。在这种方法中，两个实体之间的关系被视为向量空间中的平移操作。TransE假设尾部实体t的表示应该接近于头部实体h和关系r的表示之和。TransE的能量函数定义如下:由于一个实体或关系只有一种表示，TransE在建模1-to-N、N-to-1和N-to-N关系方面存在问题，而且如果两个实体之间存在多个关系，那么它也不能很好地工作。

为了解决这些问题，Wang、Zhang、Feng和Chen(2014)提出了TransH，将实体投影到不同的关系依赖超平面中，这样当涉及不同的关系时，实体就有不同的表示。Lin, Liu, Sun, Liu, and Zhu(2015)提出了TransR，即实体和关系处于不同的语义空间中，在学习表示时，实体从实体空间投射到关系空间。PTransE (Lin, Liu， & Liu, 2015c)是一个基于多步关系路径的表示学习模型，使用三种类型的合成操作，分别是加法、乘法和循环神经网络。Fan、Zhou、Chang和Zheng(2014)提出了TransM，该方法通过随多关系数量调整学习率来利用KG的结构，并取得了很大的改进。

然而，这些作品都没有考虑到来自文本的额外信息，例如实体描述和文本关系，这些都包含在大多数知识库中。

2.2. KG的多源表示学习

有几种使用文本信息的方法来帮助KGs的表示学习。Riedel、Yao、Marlin和McCallum(2013)通过将实体对的每个文本关系表示为词汇化依赖路径，将文本关系结合到KGs的表示学习中。Toutanova等人(2015)通过捕获文本关系的成分结构改进了KGs和文本关系表示。Socher, Chen, Manning和Ng(2013)提出了NTN，它表示一个实体，作为实体名称中单词的平均嵌入。Wang, Zhang, Feng和Chen(2014)通过使用维基百科锚将实体和单词嵌入到相同的向量空间中。这两个作品通过使用对应实体名称的词嵌入来表示新的实体。Zhong、Zhang、Wang、Wan和Chen(2015)基于实体描述对实体进行对齐。Zhang, Yuan, Wang, and Liu(2015)将一个实体表示为描述中单词的平均嵌入。在他们的模型中，描述的使用忽略了词序和实体名称的模糊性。为了解决这些问题，Xie等人(2016a)提出了DKRL，该方法使用CNN或CBOW模型从实体的描述中构造实体的表示，并在KG补全和实体类型分类任务上实现了最先进的性能。

上面这些我没看，因为性能不好

分层类型信息也很重要。Krompaß、Baier和trrep(2015)将实体的类型约束结合到KG的表示学习中，在他们的模型中，类型信息没有显式编码到KG表示中，没有考虑层次结构。为了解决这些问题，Xie等人(2016b)提出了TKRL，通过使用层次类型投影来明确地组合层次类型信息。但是，上述模型在构建知识表示时只结合了一种额外的信息，忽略了多源信息的联合利用。

2.3. 基于远程监督的关系抽取

许多研究都致力于利用文本提及信息提取新的关系实例。Mintz, Bills, Snow，和Jurafsky(2009)提出了一个基于远程监督的关系提取模型，该模型使用Freebase提供远程监督并获取一些句子来学习关系提取器。在该模型中，任何包含已知实体对的句子只有一个标签。为了缓解标签错误的问题，一些研究者将基于远程监督的关系抽取视为多实例单标签或多标签问题(Riedel, Yao， & McCallum, 2010;苏尔迪亚努，Tibshirani, Nallapati， &曼宁，2012)。多实例学习考虑一个实例的标签的可靠性，用来解决标签的歧义问题(Dietterich and Lathrop, 1997)。Bunescu和Mooney(2007)将弱监督与多实例学习相结合，提取关系实例。上述方法对自然语言处理(NLP)工具设计的特征的质量有很强的依赖性，导致了错误传播的问题。

最近，深度学习(Bengio, 2009)已经被应用到很多领域，它也被用于许多NLP任务，例如词性标注(Collobert等人，2011)，情感分析(Santos和Gatti, 2014)，解析(Socher, Bauer, Manning， & Ng, 2013)，和机器翻译(Srivastava, Hinton, Krizhevsky, Sutskever， & Salakhutdinov, 2014)。许多研究者证明，使用深度神经网络是一种自动生成特征进行关系提取的有效方法。Socher, Huval, Manning和Ng(2012)提出了一种基于递归神经网络的关系提取模型来学习短语和句子的成分表示，在这种模型中，解析树中的节点被表示为向量。端到端cnn也被应用于关系提取(Zeng, Liu, Lai, Zhou， & Zhao, 2014;Santos, Xiang， & Zhou, 2015)。

上述方法仅基于句子层次提取关系，导致训练数据缺乏。此外，传统的多实例学习机制难以应用于神经网络模型中。为了解决这些问题，Zeng等人(2015)提出了PCNNs，它使用至少一个多实例学习策略来实现基于远程监督的关系提取。在该模型中，由于每个实体对只选择一个句子，因此忽略了其他句子中涉及的大量信息。与他们的模型不同，Lin, Shen， & Liu(2016)提出了一个多实例句子级注意模型，该模型集成了所有信息句。受此启发，我们采用一种句子层面的注意机制来获得文本关系表征。

3.问题形式化

4.MKRL模型

4.1总体架构

实体描述丰富了实体的语义。层次类型区分不同关系中涉及的实体的不同属性。文本关系使关系的语义更加清晰。为了学习实体和关系的优化表示，我们尝试将三重事实信息与MKRL模型中实体描述、分层类型和文本关系中的丰富信息结合起来。MKRL模型的总体架构如图4所示。

4.2.实体描述编码器

KGs中的实体描述丰富了实体的语义。我们遵循DKRL (Xie等人，2016a)利用实体描述作为补充，得到实体的基于描述的表示，即hd和td。预处理后，将使用word2vec (Bordes et al.， 2013)训练的实体描述的词嵌入设置为实体描述编码器的输入。为了进一步理解描述并考虑隐藏在词序中的内部文本信息，使用CNN编码器对实体描述进行编码。CNN架构如图5所示。在卷积层中，DKRL使用一个大小为l的窗口在输入嵌入矩阵中滑动并提取特征。然后采用池化操作缩小参数空间，滤除噪声。在第一个池化层，最大池化用于在大小为n的池化窗口中选择最重要的特征。在第二层池化层，均值池化用于总结所有的特征。在输出处应用非线性函数，如tanh或ReLU后，我们得到了头部实体和尾部实体的基于描述的表示。

4.3. 文本关系编码器

文本关系信息是表征学习的重要补充。文本关系表示由文本关系编码器构造。在MKRL模型中，在远程监督下，收集包含实体对的句子，并将其表示为词汇化的依赖路径。文本中的实体通过使用Freebase Annotation进行识别(Gabrilovich, Ringgaard， & Subramanya, 2013)。Freebase Annotation的实体链接精度高(约80% ~ 85%)，在标注Freebase实体时具有良好的性能。为了嵌入句子的句法结构，采用了基于位置的CNN。为了解决标签错误的问题，我们采用了一种句子级的注意机制，期望降低吵闹实例的权重，并赋予重要句子较高的权重。

4.3.1词汇化的依赖路径

接下来(Zeng et al.， 2015)，我们使用远程监督来获得实体对的文本关系。为了捕获语法关系，对文本关系应用了一种快速而准确的依赖解析器(Chen和Manning, 2014)，通过这种解析器，文本关系被表示为词汇化的依赖路径。实体对(e1, e2)之间的词汇化依赖路径定义为节点和有方向标记的依赖弧的序列，其中节点表示实体、名词词和介词词，有方向标记的依赖弧表示它们之间的关系。定向标记依赖弧被标记为<conj>，<nsubj> ，等等。图6显示了词汇化依赖路径的一个例子。对于实体对Donald Trump和United States，提取包含该实体对的句子，构建其对应的词汇化依赖路径。主语和宾语分别指句法主语和宾语。词汇化的依赖路径表示为SUBJECT < nsubj > president < prep > of < obj > OBJECT nusbj 名词性主语 prep介词

4.3.2基于位置的卷积神经网络

将基于位置的CNN应用于词汇化依赖路径，可以嵌入句子的句法结构。图7显示了基于位置的CNN的体系结构。该体系结构中有三层:向量表示层、卷积层和最大池化层。在输出处应用非线性函数后，我们得到了句子的表示形式。

在向量表示层中，将词汇化依赖路径中的节点和有向标记依赖弧视为单词，并使用word2vec将其映射到向量(Bordes et al.， 2013)。词法化的依赖路径表示为嵌入矩阵:

4.3.3句级注意语句机制

词汇化依赖路径和上面提到的CNN以句子为输入，构建所有单句的表示。然而，大多数实体对都有不止一个句子。确定哪些句子能更好地代表对应关系是必要的，但也是具有挑战性的。简单地把所有的句子表示都加起来可能会产生噪音，丢失详细的信息。受(Xu et al.， 2015)的启发，我们使用一种句子级别的注意机制将所有信息性句子联合起来，atti定义为:

句子的表征与对应的基于结构的关系表征越相似，句子就越重要，也就是说，句子应该得到更高的重视。

4.4. 分层类型投影

层次化类型信息是表征学习的重要补充(Krompaß， Baier， & Tresp, 2015)。利用层次类型投影，构造了头实体和尾实体的层次类型表示，即。一个实体通常有许多层次类型，而一个层次类型又有许多层。我们将分层类型表示如下:

考虑到一个实体通常属于一个以上的层次类型，一个实体的投影矩阵应该是所有层次类型投影矩阵的组合。Mintz等人(2009)提出了一种类型编码器的一般形式，它通过汇总实体的所有层次类型的投影矩阵来表示实体。通过一般形式的类型编码器，一个实体得到一个具有不同关系的固定投影矩阵。

但是，当涉及到不同的关系时，一个实体应该有不同的表示。为了具体构造头部实体和尾部实体的投影矩阵，我们的模型考虑了关系特定的类型约束，提供了实体在特定关系中可能属于的层次类型。例如，在图2中，对于实体对Jane Austen和Pride and Prejudice，关系特定类型约束表明，在特定关系是作者的情况下，层级类型book/author和book/written_work分别是头部实体Jane Austen和尾部实体Pride and Prejudice的可能的层级类型。

4.5. 目标规范化

具体来说，首先初始化实体、关系和单词的表示，遵循相同的统一分布(步骤1-5)。然后，从训练集中选取每个大小为b的小批量正三重事实，并基于正样本随机生成n个负三重事实(步骤6-12)。使用TransE、实体描述编码器、文本关系编码器和分级类型投影训练实体、关系和单词的表示。我们使用学习率为r的小批随机梯度下降(SGD)来更新表示(步骤13-18)。

4.6优化和实现细节

5.实验

5.1数据集

数据集FB15k-237是FB15k (Bordes et al.， 2013)的一个子集，它排除了冗余关系，目的是使任务更加真实(Toutanova & Chen, 2015)。FB15k-237包括237个关系和14,541个实体。Bordes等人(2013)将FB15k-237的三重事实分为训练集、验证集和测试集。训练集有272,115个三重事实，验证集有17,535个三重事实，测试集有20,466个三重事实。

FB15k-237只包含从Freebase提取的三重事实。为了引入实体描述，根据DKRL (Xie等人，2016a)，我们将FB15k-237中的每个实体映射到维基百科，将实体的维基百科页面的第一段作为其描述，并过滤一些没有充分描述的实体。去掉26个描述长度小于3的实体后，还剩下14,515个实体。

文本关系是包含相应实体对的句子。FB15k-237的文本关系从2亿个句子中提取，其中包括ClueWeb12语料库中的实体对以及Freebase注释(Gabrilovich等人，2013年)。ClueWeb12语料库包含771,813,525个实体注释。在过滤了FB15k-237中不存在的实体后，还剩下13937个实体。经过修剪(Chen & Manning, 2014)，有270万个独特的文本关系。文本关系中有向标记依赖弧的数量为168。

数据集的统计情况如表3所示。KB行表示数据集FB15k-237的统计信息，Des表示实体描述的统计信息，Text表示文本关系的统计信息

5.2. 实验设置

5.3. 知识图补全

5.3.1. 评估协议

为了衡量实体预测和关系预测的性能，对于一个头尾实体或关系缺失的特定测试三元组事实，我们用一个KG中的每个实体或关系填充缺失的部分，得到候选三元事实。然后用函数计算候选三重事实的得分，并按升序排列。最后，定位指定的测试三元组事实并记录其秩。我们还遵循两个评估设置，即“原始”和“过滤器”(Bordes等人，2013年)。对于候选三元事实，有些三元事实已经存在于一个KG中，称为败坏三元事实。在设置“原始”时，我们对所有候选的三个事实进行排序。然而，对于KG补全任务，我们需要补全KG中不存在的三重事实。因此，在设置“filter”时，我们先过滤掉被破坏的三重事实，然后再进行排序。

由于MKRL模型共同学习了四种表示形式，因此根据不同的表示形式组合，我们会报告不同的预测结果。MSKR (SR)结合了三重事实信息和文本关系信息。MKRL (SRT)结合了三重事实信息、文本关系信息和分层类型信息。MKRL (SRD)结合了三重事实信息、文本关系信息和实体描述信息。MKRL (STD)结合了三重事实信息、分层类型信息和实体描述信息。MKRL (ALL)将这四种信息联合起来。

5.3.2结果与讨论

表明我们的模型MKRL (ALL)在统计上优于比较方法(一个样本t检验，显著性水平为5%)。

实体预测:实体预测任务的目标是在h或t缺失时完成三重(h、r、t)。我们总共进行了10个实验，记录了每个基线和组合方法对实体预测结果的均值和标准差。此外，为了统计度量性能差异的显著性，在这两种方法的结果之间进行显著性水平为5%的成对t检验。实体预测结果如表4所示，从中我们可以观察到:

在Mean Rank和Hits@10的评估指标上，我们的模型MKRL (ALL)在统计上优于所有基线(TransE, DKRL, TKRL和conve - dist)。这表明文本关系、层次类型和实体描述信息已成功编码为表示形式，这对构建知识表示形式具有重要意义。
在添加文本关系信息时，与convf - dist相比，我们的模型MKRL (SR)取得了相对较好的性能(在Mean Rank上减少7.95% (raw)和11.52% (filter)，在Hits@10上增加18.23% (raw)和24.5% (filter))。这表明我们的模型MKRL (SR)在学习实体表示方面有更好的表现，因为我们的模型MKRL (SR)中的句子级注意机制可以处理错误标签的问题。
当去除一种额外信息时，与Mean Rank上的MKRL (ALL)相比，MKRL (SRT)的性能相对较差(7.7% (raw)， 7.6% (filter)增长)，而MKRL (SRD)的性能相对较好(2.4% (raw)， 3.3% (filter)增长)。说明实体描述信息较重要，层级类型信息较不重要。与Hits@10上的MKRL (ALL)相比，MKRL (SRT)的性能相对较差(14.7% (raw)， 10.5% (filter)下降)，而MKRL (STD)的性能相对较好(0.7% (raw)， 0.8% (filter)下降)。说明对于Hits@10，实体描述信息更重要，而文本关系信息不那么重要。以上结果表明，与文本关系和分层类型信息相比，维基百科的实体描述信息在学习实体更好的表示方式方面更有意义，因为维基百科的实体描述为实体提供了具体的文本，最大限度地丰富了实体的语义。
当去除两种额外信息时，与Mean Rank上的MKRL (ALL)相比，TKRL的性能相对较差(14.4% (raw)， 14.7% (filter)增长)，而MKRL (SR)的性能相对较好(3.0% (raw)， 2.6% (filter)增长)。说明对于Mean Rank，实体描述和文本关系信息的组合比实体描述和层次类型信息的组合更重要，这可能是因为实体描述为实体提供了特定的文本，而文本关系为关系提供了额外的文本。与Hits@10上的MKRL (ALL)相比，convl - dist的性能相对较差(31.7% (raw)， 32.9% (filter)下降)，而DKRL的性能相对较好(2.1% (raw)， 4.2% (filter)下降)。这说明对于Hits@10，实体描述和层次类型信息的结合比实体描述和文本关系信息的结合更重要，因为实体描述为实体提供了语义意义，而层次类型降低了类似实体造成的错误。

关系预测:关系预测任务是在r缺失的情况下完成三重(h, r, t)。我们总共进行了10个实验，记录了每个基线和组合方法的关联预测结果的平均值和标准差。此外，为了统计度量性能差异的显著性，在这两种方法的结果之间进行显著性水平为5%的成对t检验。关系预测结果如表5所示，从中可以看出:

在Mean Rank和Hits@1的评估指标上，我们的模型MKRL (ALL)优于所有基线(TransE, DKRL, TKRL和conve - dist)。该方法成功地将文本关系、层次类型和实体描述信息编码为表示形式，对关系预测任务具有重要意义。此外，关系预测的结果优于实体预测的结果，因为在KG中实体的数量远远多于关系。
在添加文本关系信息时，与convf - dist相比，我们的模型MKRL (SR)取得了相对较好的性能(在Mean Rank上减少21.31% (raw)和14.48% (filter)，在Hits@1上增加52.48% (raw)和17.17% (filter))。这表明我们的模型MKRL (SR)在学习关系表示方面有更好的表现，因为基于位置的CNN可以捕捉到单词和实体对之间的联系，句子级注意机制可以处理错误标签的问题。
当去除一类额外信息时，与Mean Rank上的MKRL (ALL)相比，MKRL (SRT)的性能相对较差(48.7% (raw)，增加49.0% (filter))，而MKRL (STD)的性能相对较好(1.2% (raw)，增加0.6% (filter))。说明实体描述信息较重要，文本关系信息较不重要。与Hits@1上的MKRL (ALL)相比，MKRL (SRT)的性能相对较差，降低了17.8% (raw)和18.3% (filter)，而MKRL (STD)的性能相对较好，降低了0.4% (raw)和0.91% (filter)。结果表明，实体描述信息更重要，文本关系信息不那么重要，因为Hits@1.Above的结果表明，实体描述信息在学习更好的关系表示方面更重要，因为来自维基百科的实体描述为实体提供了具体的文本，这最大限度地丰富了实体的语义，改善了关系表示。
当去除两种额外信息时，相对于Mean Rank上的MKRL (ALL)， convl - dist的性能相对较差(660% (raw)， 607% (filter)增长)，而DKRL的性能相对较好(1.3% (raw)， 1.3% (filter)增长)。说明实体描述和层次类型信息的结合比文本关系和层次类型信息的结合更重要。与Hits@1上的MKRL (ALL)相比，convl - dist的性能相对较差(55.1% (raw)， 41.8% (filter)下降)，而DKRL的性能相对较好(0.4% (raw)， 0.9% (filter)下降)。说明对于Hits@1，实体描述和层次类型信息的结合比文本关系和层次类型信息的结合更重要。以上结果表明，实体描述和分层类型信息的结合更为重要，这可能是因为实体描述为实体提供了特定的文本，而分层类型降低了由相似实体引起的错误。实体描述和分层类型信息的结合可以提高实体和关系表示的整体质量，特别是正确的实体。

6. 结论和未来工作

本文提出了具有实体描述、层次类型和文本关系信息的KGs的MKRL模型，因为实体描述和文本关系可以丰富实体和关系的语义意义，层次类型可以使实体更具辨别能力。利用CNN构建实体描述表示，利用whe构建层次类型模型，利用句子级注意机制构建文本关系表示。在实验中，我们对模型的KG完成任务进行了评价。实验结果表明，该模型的性能优于现有的方法，能够将实体和关系的多源信息编码为知识表示。

未来我们将探索以下研究方向:(1)MKRL模型是基于TransE的，我们将尝试扩展MKRL模型到更复杂的基于翻译的模型，如TransH和TransR，以及其他模型，如DISTMULT。(2)句子层面的注意机制只考虑了每个词对表征学习的影响，我们会从字符中学习到更精确、更细粒度的表征。(3)在评价实验中，通过函数来确定预测，我们将综合考虑基于描述的表示、文本关系表示和层次类型表示的影响来重新设计函数。

Knowledge representation learning with entity descriptions,hierarchical types, and textual relation相关推荐

[论文学习]TDN: An Integrated Representation Learning Model of Knowledge Graphs
[论文学习以及翻译]TDN: An Integrated Representation Learning Model of Knowledge Graphs 文章主要内容摘要前言相关工作基于T ...
Rule-Guided Compositional Representation Learning on Knowledge Graphs-学习笔记
Rule-Guided Compositional Representation Learning on Knowledge Graphs 1.表示学习知识图谱(KG)是将KG的实体和关系嵌入到低维连 ...
阅读Hierarchical Graph Representation Learning with Differentiable Pooling(NeurIPS 2018)
最近关注graph pooling,Hierarchical Graph Representation Learning with Differentiable Pooling(NeurIPS 2 ...
阅读《SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge》
SentiLARE: Sentiment-Aware Language Representation Learning with Linguistic Knowledge Abstract 现有的预训 ...
Hierarchical Contextualized Representation for Named Entity Recognition
文章目录 Hierarchical Contextualized Representation for Named Entity Recognition (层次上下文表示的命名实体识别) Abstra ...
Few-Shot Representation Learning for Out-Of-Vocabulary Words 论文笔记
<Few-Shot Representation Learning for Out-Of-Vocabulary Words> 这篇文章是发表在2019年NAACL上的,主要是针对out o ...
SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions 论文读书笔记
SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions 论文读书笔记 1. Motiva ...
Metapath2vec:Scalable Representation Learning for Heterogeneous Networks(结构化深度网络特征表示)
目录 1.图嵌入背景介绍 1.1 什么是图嵌入 1.2 为什么要使用图嵌入 2.论文背景介绍 2.1 同质网络 & 异质网络 2.2 异质网络与Metapath2vec 3.Metapath2 ...
[论文翻译] iCaRL: Incremental Classifier and Representation Learning
iCaRL: Incremental Classifier and Representation Learning Abstract 人工智能道路上的一个主要的开放性问题是开发渐进式学习系统,随着时间 ...

Knowledge representation learning with entity descriptions,hierarchical types, and textual relation

摘要