深度材料感知跨光谱立体匹配

摘要

跨光谱成像对识别和检测任务很有帮助。通常，多个相机用于跨光谱成像，因此需要图像对齐或双目系统中的视差估计。多相机跨光谱系统逐渐被嵌入到有源RGB-D设备中（例如Kinect和iPhone X中的RGB-NIR相机）。因此，立体匹配提供了在没有主动投影仪的情况下获得深度的机会。然而，由于大的外观差异，匹配来自不同光谱带的图像非常具有挑战性。

  • 本文开发了一种基于深度学习的方法，能同时进行跨光谱图像变换和视差估计。

  • 在视差预测网络中使用了材料感知损失函数，用于处理具有不可靠匹配的区域，例如光源、挡风玻璃和光滑表面。

  • 本文的方法采用无监督学习。

  • 构建数据集。为了评估本文的方法，使用车载RGB-NIR立体系统，在一个城市内和周围一系列区域，收集了13.7小时的视频数据。

  • 实验结果表明，该方法具有较强的性能和并能达到实时性。

1.介绍

跨光谱成像广泛应用于图像处理和计算机视觉领域：

  • 近红外（NIR）、短波红外（SWIR）、中波红外（MWIR）图像能够帮助RGB图像进行人脸识别。

  • RGB-NIR图像对用于阴影检测、场景识别和场景推理。

  • NIR图像能够对彩色图像进行增强和去雾。

  • 蓝色荧光和紫外光图像有助于皮肤表面重建。

  • 彩色与热红外图像有助于行人检测。

⭐️动机⭐️

  • 多相机-多光谱系统在现代设备中越来越常见（Kinect、iPhone X），由于大多数跨光谱算法需要对齐的图像作为输入，所以跨光谱对齐问题变得至关重要，然而在硬件中使用分束器对齐图像是不切实际的，因为这样会导致显著的光损失，进而需要更长的曝光时间，导致动态模糊。

  • 立体匹配可以解决这个问题，先从校正的图像对中估计视差，然后根据获得的视差，通过图像变换得到对齐的图像。立体匹配还可以在没有主动光的情况下获得深度，有助于像检测和跟踪这样的任务。

⭐️挑战⭐️

由于成像光谱段不同，带来的巨大外观差异。

⭐️方法⭐️

采用两个无监督网络，同时进行视差估计和光谱变换。

  • 视差估计网络（DPN）

  • 光谱转换网络（STN）

损失函数由NIR图像和伪NIR图像的重投影和匹配关系构建。

DPN和STN能应对大部分场景，但是具有某些材料的区域匹配结果不可靠，如光源、玻璃和光滑表面，为了解决这些问题，采用一个材料识别网络（DeepLab）识别出不可靠的区域，然后利用上下文信息对这些区域进行视差推理。

DPN损失根据材料概率和预测的视差评估像素置信度，并利用置信度加权平滑技术将更多梯度反向传播到较低置信度像素。

⭐️数据集⭐️

  • 13.7h的RGB-NIR立体对视频帧。

  • 在图像的子集上标注了材料分割标签，来训练材料识别网络（DeepLab）。

  • 在测试子集上标记稀疏视差用于评估。

2.相关工作

跨模态立体匹配

跨模态立体匹配的关键是计算不同成像模态之间的不变量。