MMKG: Multi-Modal Knowledge Graphs

背景：
知识图谱提供了有效组织和管理信息的方法，但是KG通常是高度不完整的，因此知识图谱的研究主要集中于在知识图谱的完成问题。链接预测（预测KG中实体的缺失关系）、关系提取（语义关系提及分类）、本体匹配（跨KG中实体和关系的对齐和集成）是解决不完整问题的不同方法。现有的知识图谱大多都以纯文本的形式出现，缺乏与真实世界中的链接，多模态知识图谱（MMKG）被提出。
内容的提出：
MMKG以传统的文字知识图谱Freebase为基础，使用常用的子集Freebase15k作为构建的基础，构建的多模态知识图谱是三个知识图谱的集合，包含了所有实体的数字特征和图像（链接）以及还有三个知识图谱之间的实体对齐（通过sameAs进行链接），也通过实验证明了MMKG在相同链路预测任务中的有效性。
MMKG是一个由三个知识图谱组成的集合，用于链路预测和实体匹配研究，包含了所有实体的数字特征和图像。主要贡献如下：（1）依据Freebase15k构建了DBpedia15k和YAGO15k，通过sameAs链接将Freebase中的实体与DBpedia、YAGO中的实体连接起来，同时三个知识图谱都含有丰富的数字文字和图像信息，以及链接这些知识图谱队之间的sameAs谓词、数字文字和实体的图像链接，证明了知识图谱的补全问题可以从受益于多模态数据中。
构建的过程：
（1）以Freebase15k作为基础，提取FB15k中与DBpedia实体之间的对齐，这些对齐通过sameAs关系将FB15k中的一个实体链接到DBpedia中的一个实体。
（2）FB15k中实体大部分可以与DBpedia中的实体相匹配，对于一些不能跨知识图谱对齐的实体，在DB15k中加入额外的实体，收集头实体和尾实体都属于DB15k实体集的所有三元组，构成DB15k的关系图结构。
（3）收集DB15k中的实体与数字字面值相关联的三元组，如/location/geocode/latitude将实体链接到他们的纬度，这些关系称为数值关系。
（4）获得与每个实体相关联的图像。使用wikipadia url作为查询字符串，利用爬虫程序下载每个实体的图像，存储每个浏览器检索到的排名前20的图片，过滤出边长小于224像素的图片，以及边长大于2.5像素的图像，平均每个实体保持55.8张图片，图像缩放为最大高度或宽度为500像素，保持其纵横比，为每个实体分配一个不同的图像给FB15k和DB15k。
创建YAGO15k重复相同的步骤，只有一个不同之处，来自YAGO中的实体只与DBpedia中的实体对齐，将其与之前提取的DB15k与FB15k之间的比对一起使用，创建YAGO与FB15k实体之间的对齐。
为了保障视觉信息的访问，通过VGG16模型学习图像的嵌入，去掉训练后的softmax层，对所有的MMKG图像进行4096维的嵌入，以hdf5格式提供这些嵌入。
实验：
评估MMKG的技术质量。知识图谱的完成受益于MMKG的多模态数据。近年来，有许多融合特征类型的方法：串联、集成等操作。通过sameAs链接预测任务来证明不同模式对同一链接预测任务是互补的，这里的目标是回答（head？，sameAs，tail）或者（head，sameAs，tail？），其中的头实体和尾实体来自不同的KG，只考虑一对一的假设
模型：
PoE模型：视觉部分只学sameAs的关系类型，图片部分的评分由两个4096维特征向量的余弦相似度计算。其他baseline模型：concatenation（一对对齐的实体，每一对被描述为一个向量，其中两个实体的所有模态特征都被连接起来）、Ensemble（将不同的专家模型组合成一个集成分类器，首先对每个专家模型进行独立训练，在测试的时候，添加专家模型的分数，并且用于实体进行排名）。
实验操作：
评估在两个KG之间对齐比例的低、中、高时不同模态的影响。H是第一个KG的实体，依次用第二个KG的每个实体来替换尾部，根据分数或者概率对三元组进行排序，计算正确实体的排名（MRR、hit@n），并且进行消融实验，分别描述每个模态的性能。
总结：
提出了MMKG，包含多模态数据的三个知识图谱的集合，并且通过大量的实验证明了该数据集在链路预测任务中的有效性。
观点与分析：
依据传统的三个文本知识图谱为基础，在三个知识图谱之间建立sameAs链接，同时补充图片和数值信息到文本中，补全文本知识图谱，图片通过VGG的方式学习嵌入，以hdf5的形式进行存储，保障视觉信息的访问。最后使用PoE模型将多个专家模型进行融合，进行链接预测任务来评估MMKG模型的技术标准。
优点：
将多个文本知识图谱链接起来，通过图像补全文本知识图谱，通过实验评估得到的MKKG模型在链接预测任务中具有有效性。
缺点：
图像没有作为单独的实体存在，是以一种通过向量的形式进行嵌入，最后将嵌入保存在了文件中。

MMKG: Multi-Modal Knowledge Graphs相关推荐

【论文笔记】SEEK: Segmented Embedding of Knowledge Graphs
来自ACL2020 paper:SEEK: Segmented Embedding of Knowledge Graphs code:https://github.com/Wentao-Xu/SEEK ...
LANGUAGE MODELS ARE OPEN KNOWLEDGE GRAPHS —— 读后总结
这篇paper展示了一种从预训练的语言模型(例:BERT,GPT-2/3)通过无监督训练构建知识图谱(KGs)的idea,想法还是很新奇的,搭建了LM(Language Model)和KG(Knowl ...
Error detection in Knowledge Graphs: Path Ranking, Embeddings or both?-学习笔记
Error detection in Knowledge Graphs: Path Ranking, Embeddings or both? 错误的三元组本质上是对象s与对象o(两者均为E)之间的错误 ...
（十四）【RecSys 2016】Personalized Recommendations using Knowledge Graphs: A Probabilistic【看不懂】
题目: Personalized Recommendations using Knowledge Graphs: A Probabilistic Logic Programming Approach( ...
征稿 | Call for papers on Knowledge Graphs
Knowledge graph是Data Intelligence的核心主题和期刊特色之一.为持续展示这一领域的最新进展和前沿成果,Data Intelligence正在与国际学者一道策划两期Know ...
AAAI论文摘要【知识图谱补全】：A Survey on knowledge Graphs：Representation，Acquisition and Application
A Survey on knowledge Graphs:Representation,Acquisition and Application 主要思路全面回顾知识图谱表示学习知识图谱推理全视 ...
[论文学习]TDN: An Integrated Representation Learning Model of Knowledge Graphs
[论文学习以及翻译]TDN: An Integrated Representation Learning Model of Knowledge Graphs 文章主要内容摘要前言相关工作基于T ...
【知识图谱综述】Knowledge Graphs: A Survey
知识图谱综述本文主要在阅读文章Knowledge Graphs. ACM Comput. Surv., 54(4): 1–37. 2021的基础上进行归纳总结,涉及原理知识较浅,旨在帮助对知识图谱进 ...
Generative Adversarial Zero-shot Learning via Knowledge Graphs翻译
Generative Adversarial Zero-shot Learning via Knowledge Graphs Abstract: 零样本学习(ZSL)是处理那些没有标记训练数据的看不见 ...
Interactive natural language question answering over knowledge graphs论文导读
论文导读目录 Abstract introduction 1 抛砖引的玉(砖见于图谱构建综述吧) 2 现有方法介绍 3 问题驱动 4 挑战与贡献 Interaction approach overv ...

MMKG: Multi-Modal Knowledge Graphs

MMKG: Multi-Modal Knowledge Graphs相关推荐

最新文章

热门文章