深度学习多模态融合_多模态深度学习综述.PDF

多模态深度学习综述.PDF

37 6 Vol. 37 No. 6

第卷第期计算机应用研究

录用定稿 Application Research of Computers Accepted Paper

多模态深度学习综述

刘建伟，丁熙浩，罗雄麟

( 中国石油大学(北京) 自动化系, 北京 102249)

摘要：模态是指事物发生或存在的方式，如文字、语言、声音、图形等。多模态学习是指学习多个模态中各个模

态的信息，并且实现各个模态的信息的交流和转换。多模态深度学习是指建立可以完成多模态学习任务的神经网络

模型。多模态学习的普遍性和深度学习的热度赋予了多模态深度学习鲜活的生命力和发展潜力。旨在多模态深度学

习的发展前期，总结当前的多模态深度学习，发现在不同的多模态组合和学习目标下，多模态深度学习实现过程中

的共有问题，并对共有问题进行分类，叙述解决各类问题的方法。具体来说，从涉及自然语言、视觉、听觉的多模

态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成，以及多媒体检索等方面研究，将多

模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类，并对各问题进行子分类

和论述，同时列举了为解决各问题产生的神经网络模型。最后论述了实际多模态系统，多模态深度学习研究中常用

的数据集和评判标准，并展望了多模态深度学习的发展趋势。

关键词：多模态；深度学习；神经网络；模态表示；模态传译；模态融合；模态对齐

中图分类号：TP181 doi: 10.19734/j.issn.1001-3695.2018.12.0857

Survey of multimodal deep learning

Liu Jianwei, Ding Xihao, Luo Xionglin

(Dept . of Automation , China University of Petroleum, Beijing 102249, China)

Abstract: A modality refers to the way in which something happens or is experienced, such as word, language, sound,

picture and so on . Multimodality is a combination of two or more modalities. Multimodal learning refers to learning the

information of each modality in the multimodality, and realizing the exchange and conversion of information of each

modality. Thus, Multimodal deep learning is the establishment of a neural network model that can accomplish multimodal

learning tasks. The universality of multimodal learning and the intensification of deep learning lead t

深度学习多模态融合_多模态深度学习综述.PDF相关推荐

深度学习多模态融合_多模态深度学习：用深度学习的方式融合各种信息
作者:Purvanshi Mehta 编译:ronghuaiyang 原文链接多模态深度学习:用深度学习的方式融合各种信息mp.weixin.qq.com 导读使用深度学习融合各种来源的信息. 多 ...
深度学习图像融合_基于深度学习的图像超分辨率最新进展与趋势【附PDF】
因PDF资源在微信公众号关注公众号:人工智能前沿讲习回复"超分辨"获取文章PDF 1.主题简介图像超分辨率是计算机视觉和图像处理领域一个非常重要的研究问题,在医疗图像分析.生物特 ...
深度学习情感分析_使用深度学习进行情感分析
深度学习情感分析介绍 (Introduction) The growth of the internet due to social networks such as Facebook, Twit ...
深度学习实现象棋_使用深度学习创建国际象棋人工智能
深度学习实现象棋 When Gary Kasparov was dethroned by IBM's Deep Blue chess algorithm, the algorithm did not ...
深度学习基础知识_数学基础（学习笔记）
线性代数向量.矩阵.矩阵计算,矩阵的秩,范数了解更多可以参考: 哔哩哔哩: 晓之车高山老师 https://space.bilibili.com/138962930/channel/collect ...
深度相机物体三维重建_基于深度相机进行室内完整场景三维重建的方法及系统_2017100513665_说明书_专利查询_专利网_钻瓜专利网...
S121:采用Kintinuous框架,进行视觉里程计估计,得到每帧深度图像下的相机位姿信息. S122:根据相机位姿信息,将由每帧深度图像对应的点云数据反投影到初始坐标系下,用投影后得到的深度图像与 ...
深度相机物体三维重建_基于深度相机的实时物体三维重建方法与流程
本发明涉及三维成像领域,特别是一种能够实时地对物体或人体进行三维重建的方法. 背景技术: 三维重建技术一直是计算机图形学和计算机视觉领域的热点课题.三维重建就是从输入数据中建立3D模型.随着各种面向普 ...
深度学习图像融合_深度学习图像分割必看的12篇文章
图像分割 Author:孙叔桥 From:有三AI 1 FCN Fully Convolutional Network(FCN)是神经网络用于图像分割任务的鼻祖,后续提出的大部分基于编解码结构的图像分 ...
深度学习相机标定_基于深度学习的多传感器标定
标定是确定不同坐标系的相互转换关系,是传感器数据融合的前提,特别是激光雷达和图像数据.这里以深度学习的方法训练CNN模型去回归坐标系转换的参数. 主要是两个CNN模型:RegNet和CalibNet. ...

深度学习多模态融合_多模态深度学习综述.PDF

深度学习多模态融合_多模态深度学习综述.PDF相关推荐

最新文章

热门文章