CVPR2022-利用3D合成数据进行人像眼镜和阴影去除

（说明：如果您认为下面的文章对您有帮助，请您花费一秒时间点击一下最底部的广告以此来激励本人创作，谢谢!!!）

许多面部识别技术假设输入面部图像不具有遮挡。如果不满足该假设，则模型的性能会下降。其中一种是眼镜，能够摘下人像眼镜可以处理这种情况。（图1）

图1. 人像眼镜和阴影去除

移除眼镜（及其阴影）的任务并不简单。不仅必须恢复面部特征，还必须消除与眼镜相关的照明效果（如阴影、反射和扭曲）。可以想象，模拟这些效应在计算上既昂贵又困难。

因此，作者提出了一种先检测后移除算法，该算法在移除眼镜之前首先检测眼镜的存在。

由于缺乏真实数据，作者使用合成人像数据集训练了检测和去除算法。使用合成数据集的好处是能够生成跨越各种身份、表情、眼镜和照明的不同数据集。因此，该模型可以概括不同的照明条件、头部姿势和眼镜（图2）。

图2. 在各种设置中移除眼镜

值得注意的是，作者还使用了在现实世界中无法捕获的合成图像进行中间监督。特别是，使用带眼镜但没有阴影的肖像（反之亦然）来训练去玻璃和去阴影网络。

为缩小合成数据和真实数据之间的差距，作者使用了域自适应网络。它将输入图像（无论是合成图像还是真实图像）转换为统一的特征图。

将作者的结果与最先进的眼镜移除方法进行快速比较（图3）揭示了当前方法的局限性。例如，CycleGAN、StarGAN和pix2pix等现有方法无法完全移除某些阴影的眼镜。

图3. 跨多幅图像的不同方法的定性比较

尽管缺乏真实世界的数据，作者还是取得了最先进的结果。我们甚至认为，合成数据的多样性和可定制性是解决以前模型弱点的一个重要因素。对于除摘眼镜外的许多任务，合成数据可能是推动其他计算机视觉任务边界的关键。

更多内容请关注公众号：元宇宙MetaAI

CVPR2022-利用3D合成数据进行人像眼镜和阴影去除相关推荐

点云 3D 天气数据增强 - LiDAR Snowfall Simulation for Robust 3D Object Detection (CVPR 2022)
点云 3D 天气数据增强 - LiDAR Snowfall Simulation for Robust 3D Object Detection - 用于鲁棒3D目标检测的激光雷达降雪模拟(CVPR 2 ...
仅靠合成数据就能实现真实人脸分析！微软这项新研究告别人工标注
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达杨净发自凹非寺量子位报道 | 公众号 QbitAI 相信吗? ...
告别人工标注！仅靠合成数据就能实现真实人脸分析！
来源:量子位相信吗?现在训练数据也用合成的了. 而且人脸分析任务上,准确性还不输真实数据的那种. 这是微软团队的一项最新研究,论文标题就已经说明了一切. Fake it till you make ...
进一步学习 Cesium 和 3D Tiles 数据相关
接此: https://blog.csdn.net/bcbobo21cn/article/details/112464630 如下一段代码:也能加载出3D Tiles数据:此段代码和前文的有些相似: ...
目前缺少用于语义分割的 3D LiDAR 数据吗？关于三维点云数据集和方法的调查
目前缺少用于语义分割的 3D LiDAR 数据吗?关于三维点云数据集和方法的调查原文 Are We Hungry for 3D LiDAR Data for Semantic Segmentatio ...
谷歌研究利用AI合成图片，使静态图片动起来
内容来源:ATYUN AI平台谷歌的研究人员开发了一个基于深度学习的系统,可以将立体相机,VR相机和双镜头相机(如iPhone 7或X)拍摄的静态图像转换为短视频. "给出两个图像与已知的 ...
告别传统机房：3D 机房数据可视化实现智能化与VR技术的新碰撞
前言随着各行业对计算机依赖性的日益提高,计算机信息系统的发展使得作为其网络设备.主机服务器.数据存储设备.网络安全设备等核心设备存放地的计算机机房日益显现出它的重要地位,而机房的环境和动力设备如供配 ...
利用二维数据学习纹理三维网格生成(CVPR 2020)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨paopaoslam 来源丨泡泡机器人SLAM 标题:Leveraging 2D Data to ...
使用合成数据改善机器学习中的极度不平衡数据集
这是我的推广信息,以激励自己更好的分享自己的知识和经验!也希望看到的你能够多多支持,谢谢! 1. 滴滴云AI大师: 目前滴滴云正在大力推广自己的云计算服务,需要购买的朋友们用我的AI大师码「2049 ...

CVPR2022-利用3D合成数据进行人像眼镜和阴影去除

CVPR2022-利用3D合成数据进行人像眼镜和阴影去除相关推荐

最新文章

热门文章