跨模态行人重识别：Towards a Unified Middle Modality Learning forVisible-Infrared Person Re-Identification阅读笔记

摘要

方法

结果

论文链接

摘要

提出了一种非线性中间模态生成器（MMG），它有助于减少模态差异。MMG 可以有效地将 VIS 和 IR 图像投影到统一的中间模态图像 (UMMI) 空间中，以生成中间模态 (M-modality) 图像。生成的 M 模态图像和原始图像被馈送到主干网络以减少模态差异。为了将 UMMI 空间中从 VIS 和 IR 图像生成的两种类型的 M 模态图像拉在一起，提出了一个分布一致性损失 (DCL)，以使生成的 M 模态图像的模态分布一致尽可能。最后提出了一个中间模态网络（MMN），以显式方式进一步增强特征的区分度和丰富度。

主要贡献

（1）提出了一种非线性中间模态生成器来生成中间模态图像来辅助 VI-ReID 任务。特别是，所提出的中间模态生成器可以有效地将 VIS 和 IR 图像投影到统一的中间模态图像空间中。

(2) 我们提出了一种有效的分布一致性损失，使从VIS和IR图像中获得的两种中间模态图像在UMMI空间中的模态分布一致，进一步提高了所提出方法的性能。

(3) 大量实验表明，所提出的方法在 SYSUMM01 和 RegDB 数据集上都显着优于其他竞争方法。

方法

中间模态生成器（MMG），分布一致性损失（DCL

Middle Modality Generator

在通道级别对齐可见光图像和红外图像。将可见光转换为红外比将红外转换为可见光更容易。分别对这两种模式进行编码，对于VIS模式

对于IR模式

通过如上图所示操作，我们获得了可见光和红外图像的特征，并在通道级别执行了可见光图像和红外图像之间的对齐。

Modality Information Decoder

提出的MID用于将编码为一个通道的数据投影到统一的三通道图像空间。在这个统一的图像空间中，可见光和红外图像之间的距离变得更近，可以减少模态差异。

MID包括通道级的1×3全连接层，然后是ReLU激活层，以获得三通道中间模态图像. ReLU激活层用于进一步增加非线性关系。通过上述操作，我们可以生成M-模态图像。生成的M-模态图像与VIS图像和IR图像具有相同的标签。最后，将M-模态、VIS和IR模态图像一起送入主干网络

Distribution Consistency Loss (DCL)

N是图片数量，f()是网络的输出，mean[A-B]是是A和B之差的平均运算,DCL的优化将使两种M-模态特征相似。

损失函数

结果

跨模态行人重识别：Towards a Unified Middle Modality Learning forVisible-Infrared Person Re-Identification阅读笔记相关推荐

跨模态行人重识别cm-SSFT：Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer 学习笔记
目录摘要方法试验论文链接:Cross-modality Person re-identiﬁcation with Shared-Speciﬁc Feature Transfer 摘要在本文中 ...
今日 Paper | 跨模态行人重识别；对抗时尚迁移；学会注意错误等
2020-03-11 15:11:09 目录跨模态行人重识别:共享与特异特征变换算法cm-SSFT GarmentGAN:具有图片真实感的对抗时尚迁移学习将纹理从服装图像转移到3D人体学会注意错 ...
AAAI 2020 | XIV-ReID：基于X模态的跨模态行人重识别
©PaperWeekly 原创 · 作者|张晓涵学校|西安交通大学本科生研究方向|计算机视觉/行人重识别论文标题:Infrared-Visible Cross-Modal Person Re-I ...
CVPR2020 | 跨模态行人重识别：共享与特异特征变换算法cm-SSFT
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散编辑:Sophia 计算机视觉联盟报道 | 公众号 CVLianMeng 转载于 :SuperMHP, htt ...
跨模态行人重识别研究综述
跨模态行人重识别研究综述刘天瑜,刘正熙摘要:传统的行人重识别主要工作集中在同一模态下的行人重识别上,大部分应用于光源充足的场景.随着视频安防监控要求的不断提升,为了克服可见光摄像头无法全天候进行使 ...
跨模态行人重识别：Deep Learning for Person Re-identification:A Survey and Outlook（行人重识别综述）
Deep Learning for Person Re-identification:A Survey and Outlook(行人重识别综述) 写在前面:感谢叶茫博士对AGW的开源,AGW非常适合刚 ...
跨模态行人重识别：Cross-Modality Person Re-Identiﬁcation viaModality-Aware CollaborativeEnsemble Learning学习笔记
基于模态感知的协同集成学习的跨模态行人重识别简介本文针对VT-Reid提出了一种基于中间层共享双流网络(MSTN)的模态感知协同集成(MACE)学习方法,该方法同时处理了特征层和分类器层的模态差 ...
跨模态行人重识别：Hetero-Center Loss for Cross-Modality Person Re-Identification
Hetero-Center Loss for Cross-Modality Person Re-Identification 目录 Hetero-Center Loss for Cross-Modal ...
可见光-红外的跨模态行人重识别最新研究成果汇总
目录 Introduction Challenges Advantages Methods [2020 AAAI] Cross-Modality Paired-Images Generation fo ...
基于RK3588+TensorFlow的人工智能跨模态行人重识别方法及应用
摘要: 跨模态行人重识别技术(cm-ReID)旨在可见光.红外等不同模态图像中识别出同一个人,其在人机协同.万物互联.跨界融合.万物智能的智能系统与装备中有重要应用.提出一种数据增强的跨模态行人重 ...

跨模态行人重识别：Towards a Unified Middle Modality Learning forVisible-Infrared Person Re-Identification阅读笔记

摘要

方法

结果

跨模态行人重识别：Towards a Unified Middle Modality Learning forVisible-Infrared Person Re-Identification阅读笔记相关推荐

最新文章

热门文章