Cross-modal Ambiguity Learning for Multimodal Fake News Detection

论文来源：WWW 2022
论文链接：https://dl.acm.org/doi/10.1145/3485447.3511968
数据集地址：待补充

Motivation

作者认为当单模态特征很明显时，多模态融合反而会降低性能，反之单一模态表现不够时，需要引入多模态特征。

另外，作者还认为模态间的gap会造成融合时的信息损失，因此通过将不同模态的特征映射到一个嵌入空间来对齐模态特征。

Method

文章提出的模型由这几个部分组成：

编码器
模态对齐模块
单一模态的信息估计
多模态融合
分类头

其中2，3，4是主要架构。

编码器

采用Bert和Resnet-34分别对文本和图片进行编码。

模态对其模块

通过设计一个辅助任务，对比学习不同模态间的相似度。具体来说，就是从原始数据集D中真实类别的新闻中构建一个辅助对比数据集D2：

来自同一条真实新闻的图片和文本，相似度为1(positive)
来自不同真实新闻的图片和文本，相似度为0(negative)

通过对比函数计算辅助任务的损失。

训练过程的顺序如下：

训练好的模块用于将不同模态特征映射到一个共享的空间。

模态信息估计

通过KL散度衡量单一模态之间的分布，个人理解是将分布近似认为是模态信息之中的偏差，偏差越小说明单一模态的信息越有用，多模态融合的特征分配的权重就会越小。

多模态融合

感觉没什么好说的，就是注意力上变花样，排列组合一下诶。

分类头

输入的特征包括视觉模态、文本模态、融合模态，这三个特征通过信息估计的结果分配权重组合起来。

然后是MLP外面再套一个Softmax输出。

整个模型的损失包括了：分类损失、辅助任务的损失

Result

总的结果：

消融实验结果：

从上到下依次是：去掉对其模块、去掉信息估计、去掉模态融合

另外作者针对信息估计中使用不同函数、模态融合使用不同方式额外做了实验：

【论文阅读】WWW 2022：Cross-modal Ambiguity Learning for Multimodal Fake News Detection相关推荐

文献记录(part19)--Cross modal similarity learning with active queries
学习笔记,仅供参考,有错必纠关键词:主动学习;跨模态相似学习;度量学习文章目录 Cross modal similarity learning with active queries 摘要简介 ...
论文阅读笔记（2）：Learning a Self-Expressive Network for Subspace Clustering，SENet，用于大规模子空间聚类的自表达网络
论文阅读笔记(2):Learning a Self-Expressive Network for Subspace Clustering. SENet--用于大规模子空间聚类的自表达网络前言摘要 ...
人脸方向论文阅读（二）——Deep Face Representations for Differential Morphing Attack Detection
人脸相关论文阅读(二)--Deep Face Representations for Differential Morphing Attack Detection 论文信息: 发表在Cryptogra ...
论文阅读——FPGA based Accelerators of Deep Learning Networks for Learning and Classification:A Review
论文阅读之FPGA硬件加速Review FPGA-based Accelerators of Deep Learning Networks for Learning and Classificatio ...
【论文阅读】A2S-Det: Efficiency Anchor Matching in Aerial Image Oriented Object Detection
A 2 S-Det:航空图像定向目标检测中的高效锚点匹配论文地址:https://www.mdpi.com/2072-4292/13/1/73/htm 二次阅读笔记也可以看看,下面这篇博客翻译会更准 ...
【论文阅读 NeurIPS 2022】A Large Scale Search Dataset for Unbiased Learning to Rank
文章目录前言 Abs Intro 2.Preliminary 2.1.Ubiased Learning to Rank 2.2.Existion ULTR Datasets 3.Dataset De ...
论文阅读《Meta-FDMixup：Cross-Domain Few-Shot Learning Guided by Labeled Target Data》
Background & Motivation 之前看的小样本论文大部分是目标域和源域属于同一个域,比如 COCO 数据集里的小样本设定:60类为 Base,20类为 Novel.Base 和 ...
论文阅读：A Survey on Transfer Learning
本文主要内容为论文<A Survey on Transfer Learning>的阅读笔记,内容和图片主要参考该论文 .其中部分内容引用与博客<迁移学习综述a survey o ...
论文阅读：A Survey on Deep Learning for Named Entity Recognition
这是一篇2020年发的命名实体识别的综述性论文,从NER的语料库,定义,评估指标,到深度学习中的NER的技术都有涉及到. A Survey on Deep Learning for Named Ent ...

【论文阅读】WWW 2022：Cross-modal Ambiguity Learning for Multimodal Fake News Detection