RGBD模态融合问题

当图像特征中RGB图像和depth图像特征有鸿沟时，怎么进行融合呢？这里从RGBD SOD显著性检测的领域找了一些最新论文的方法，并附上代码，以供参考。

1、2022 Multi-modal interactive attention and dual progressive decoding network for RGB-D/T salient object detection

GitHub - Liangyh18/MIA_DPD

multi-modal interactive attention (MIA) 多模态交互注意力单元：

学习每个单模式的重要性

joint attention guided cross-modal decoding (JAGCD) module联合注意引导的跨模态解码模块：

捕捉这三种模态的多尺度融合特征，上采样和注意机制对三流信息进行初步整合。

通道注意(CA)、空间注意(SA)结合：用简单和轻量级的微调CBAM，高层指导低层进行融合和decoder。

MFPD：对多尺度跨模态信息的进一步融合

二、 2021 Calibrated RGB-D Salient Object Detection

https://github.com/jiwei0921/DCF

交叉参考模块(CRM)来融合来自RGB和校准depth流的特征表示。

三、2021 CDNet: Complementary Depth Network for RGB-D Salient Object Detection

GitHub - blanclist/CDNet

两阶段融合：高级和低级的depth特征分别用于预测初始显著性映射和细粒度的显著性边界。

Feature Aggregation Module (FAM)特征聚合模块

四、2021 Hierarchical Alternate Interaction Network for RGB-D Salient Object Detection

https://github.com/MathLee/HAINet

分层交替交互网络(HAINet)：三个阶段：特征编码、跨模态交替交互和显著性推理。层次交替交互模块(HAIM)首先使用RGB特征来过滤depth特征上的干扰物，然后利用纯化后的depth特征来依次增强RGB特征。

（RGB-depth-RGB 流范式）层次结构提供了上下文特征，交替交互单元逐步执行

modulation-feedback mechanism，特征重加权来保存最有价值的信息。

五、21 RGB-D Salient Object Detection via 3D Convolutional Neural

3D CNN聚合广泛信息的能力。将depth模态作为RGB的另一个“时间状态“，通过3D CNN聚合两种模态的信息，使得在解码器阶段显式融合，且不需要再设计复杂的跨模态融合模块。

六、2015 Siamese Network for RGB-D Salient Object Detection and Beyond

协同融合（加法、乘法）GitHub - kerenfu/JLDCF: Code for CVPR-2020 paper "JL-DCF: Joint Learning and Densely-Cooperative Fusion Framework for RGB-D Salient Object Detection"

“⊕”利用了特征的互补性，而“⊗”更强调特征的共性。可视为一种residual attention

七、2020 Learning Selective Mutual Attention and Contrast for RGB-D Saliency Detection

选择性互注意与对比(SMAC)模块（融合了两个模态的互注意力机制和对比机制（前后景对比），还用了选择性注意力自适应调整深度图融合所占的权重）

GitHub - nnizhang/SMAC: ReDWeb-S: a large-scale challenging dataset for RGB-D Salient Object Detection.

八、2020 Is Depth Really Necessary for Salient Object Detection?

信道感知融合模块(CAF)，它可以自适应地选择鉴别特征来进行对象理解。

DASNet 2020 (cvteam.net)

九、2020 Feature Reintegration over Differential Treatment: A Top-down and Adaptive Fusion Network for RGB-D Salient Object Detection

提出了两种模块分别针对高层级特征和低层特征的融合

IFM专注于结合来自两种高水平模态的全局信息，而GSFM的目标是通过“在低水平中删除不必要的信息来融合有用的本地信息。

IFM如下图，因为高层特征细节不多，所以不用很复杂：

GSFM（门控选择融合模块）如下图，

并且每一层特征融合时都引入了监督：

十、2020 Depth Quality Aware Salient Object Detection

主要不是特征融合，是怎么得到有贡献的深度特征: 多加一流进行监督学习，学习到深度图中有、但RGB中没有的、对saliency map的贡献。

精髓在于用这样的pGT = {P + B}的损失函数进行监督

十一、2020 Data-Level Recombination and Lightweight Fusion Scheme for RGB-D Salient Object Detection

将原始的四维RGB-D循环转换为DGB、RDB和RGD。

RGBD模态融合问题相关推荐

多模态深度学习综述：网络结构设计和模态融合方法汇总
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨小奚每天都要学习@知乎(已授权) 来源丨https://zhuanlan.zhihu.com/p ...
工程(八)——yolov5可见光+红外双模态融合(代码)
目录引言一.数据集融合 1.1 直接权重融合 1.2 TIF融合方法二.结果集融合 2.1 整体代码框架 2.2 标定参数 2.3 选择最优检测框 2.3.1 检测框合并 2.3.2 重复检测框 ...
ECCV2020 | 北京大学提出RGB-D语义分割新网络，多模态信息融合
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达这篇文章收录于ECCV2020,由北京大学.商汤科技.香港中文大学提出的基于RGB-D图像的语义分割算 ...
Open3d学习计划—高级篇 5（RGBD融合）
Open3D是一个开源库,支持快速开发和处理3D数据.Open3D在c++和Python中公开了一组精心选择的数据结构和算法.后端是高度优化的,并且是为并行化而设置的. 本系列学习计划有Blue同学作 ...
RGBD融合原理及实践
RGBD融合原理及实践前言原理部分实践前言好久没更新博客了,主要是因为懒,最近有些得闲,决定纪录下之前的工作.RT,RGBD数据融合其实就是将3D摄像机的RGB与Depth数据做融合显示的过 ...
Hierarchical Fusion Model （2019 ACL）三种模态的层次融合
论文题目(Title):Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion Model 研究问题(Question):主 ...
用于RGB-D显著目标检测的自监督表示学习
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达小白导读论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带 ...
基于三维卷积神经网络的RGB-D显著目标检测
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达小白导读论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带 ...
大连理工IIAU Lab提出SSLSOD：自监督预训练的RGB-D显著性目标检测模型(AAAI 22)
作者丨Lart 编辑丨极市平台导读本文在显著性目标检测任务(SOD)中,首次引入自监督预训练.凭借提出的有效的前置任务(pretext task),在仅使用少量无标签的RGB-D数据进行预训练的情 ...

RGBD模态融合问题

RGBD模态融合问题相关推荐

最新文章

热门文章