Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation

1、Introduction

作者设计了一个网络，运用GAN来预测遮挡的人体部位

G：生成pose热度图和occlusion热度图

P：pose discriminator 和 confidence discriminator{ P, C }

2、网络结构

2.1 多任务的生成式网络

利用生成式网络生成y,z，y是pose heatmap，z是occlusion heatmap。作者的为了增大感受野运用了encoder-decoder模型，为了获得local信息，采用了skip的链接方式，具体网络可以参考沙漏模型

本文的图也说明了这个结构

stacked起来的网络可以用

来表示，第一阶段是图片作为输入，往后的每一个阶段都是输入和上一阶段的预测一起作为输入的

2.2 Pose 判别器和confidence判别器

2.2.1 P

从真的pose里面区别出赝品。当有一些部位被遮挡的时候，其实网络是很难判断出来的，但是人们可以使用先验知识来判断它在哪里，但是网络不可以，所以设计判别器达到这个目的。判别器设计类似生成器，也是沙漏的结构。

P网络的输入是整张图片，y,z三部分一起作为输入，只有这样才能做出更好的推理，来判断一个姿势是否合理，作者使用的是

训练的时候怎样利用P网络将几何信息嵌入进去呢？

对于preal的标签是一个16x1的单元，标签就是16个部位是不是有标签，产生的pfake也是16x1的单元，如果产生的部位的location和gt的location相距很远，设置为0，否则设置为1，和下面的cfake的区别在于pfake算的是部位位置之间的偏差，着重于判断部位是否合理，cfake侧重于置信度的偏差，侧重于将遮挡的部位预测出来

注：real fake网络分开训练，标签不同，输入也不同，real的输入是gt，fake的输入是G（x）,也即生成器的输出

2.2.2 C

实际预测的往往不是高斯分布，作者设计了一个辅助判别器C，用来将低的置信度预测和高的分的置信度预测分开，此处仅仅采用y，z作为网络的输入

如果部位存在遮挡，置信度图分数会的很低，如果G产生了低的置信度图，C会将它设置为赝品，那么将会逼迫G在此处产生更高的置信度图，从而实现对遮挡部分的准确定位，在训练C的时候，输入是y，z，其中y，z是gt map, creal标签是一个16x1的数组，来表示是否是真的部位，cfake也是16x1，如果预测出来的置信度图和gt的置信度图差别小设置为1，否则设置为0

最后加上生成器损失

2.3训练流程

2.4 实验

平台torch7,预处理方式采用hourglass的方式。

Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation相关推荐

Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation翻译
对抗性的PoseNet:一种对于人类姿态估计的结构感知的卷积网络摘要: 在单目图像中,人的姿态估计,关节遮挡和重叠在人体上经常导致偏差的姿势预测. 在这种情况下,可能会产生生物学上难以置信的姿态预测 ...
【论文阅读笔记】Occlusion-Aware Siamese Network for Human Pose Estimation
论文地址:Occlusion-Aware Siamese Network for Human Pose Estimation 论文总结本文的网络名,作者命名为OASNet.本文的出发点就如名字所 ...
【SSN】：Spatial Shortcut Network for Human Pose Estimation
1.概述现有的基于姿态估计的方式,是通过逐像素分类实现的,这种方式是考虑不到大范围的空间信息的.举例来说:在左图中,由于肘关节的外观与膝关节非常相似,对于一个感受野仅能覆盖肘关节本身的小特征提取器, ...
文献记录(part40)--An adversarial human pose estimation network injected with graph structure
学习笔记,仅供参考,有错必纠关键词:人体姿态估计;级联特征网络;图结构网络随便看看- An adversarial human pose estimation network injected w ...
3D Human Pose Estimation from Monocular Images with Deep Convolutional Neural Network（2014）
Deep network for 3D pose estimation(2014) 本文提出两种策略去训练deep convolutional neural network以进行3D pose est ...
二值人脸对齐--Binarized Convolutional Landmark Localizers for Human Pose Estimation and Face Alignment
Binarized Convolutional Landmark Localizers for Human Pose Estimation and Face Alignment with Limite ...
论文阅读: 3D Human Pose Estimation in the Wild by Adversarial Learning
论文地址:https://arxiv.org/abs/1803.09722 出自港中文,CUHK-SenseTime Joint Lab 一.总体框架描述 1.本篇论文主体思路是提出了一个对抗性的学习 ...
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation
论文阅读 [TPAMI-2022] Locally Connected Network for Monocular 3D Human Pose Estimation 论文搜索(studyai.com) ...
When Human Pose Estimation Meets Robustness: Adversarial Algorithms and Benchmarks阅读笔记
当人体姿态估计满足鲁棒性:对抗性算法和基准 CVPR 2021 论文链接代码链接摘要:人体姿态估计旨在定位人体关键点位置,是一项基础且富有挑战性的计算机视觉任务.不同于人类视觉对各类数据损坏(如模 ...

Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation

Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation相关推荐

最新文章

热门文章