DensePose学习笔记
论文、代码和数据集地址:DensePose
摘要
本文的主要贡献:Dense human pose estimation: establish dense correspondences between an RGB image and a surface-based representation of the human body(image-to-surface mapping)
1 Introduction
本文采用监督学习
贡献1:DensePose-COCO数据集,manually-collected ground-truth dataset,between SMPL model and people in COCO dataset
贡献2:在fully-convolutional network(Deeplab)和region-based system(Mask-RCNN)上应用了上述dataset,发现后者更优。结合两者特点提出了DensePose-RCNN
贡献3:由于人工标注的点的数量是有限的(每个人体100-150个点,随机采样),本文训练了一个“teacher network”,可以在image中未被标注的位置“impaint”监督信号,增强训练效果
2 COCO-DensePose dataset
将人体分为24个部分,每个部分都有对应的UV field。其中头、手和脚的UV field与SMPL model里提供的相同,其余的部分通过对成对测地距离进行多维缩放得到二维展开。
还有一些具体做标注的方法,和标注准确性的evaluation,此处略
3 Learning Dense Human Pose Estimation
3.1 Fully Convolutional Dense Pose Regression
此网络和DenseReg类似
Step 1:将input image中的每个pixel分类到background或body part中,并估计一个粗略的坐标。此部分相当于分类任务,训练时采用标准交叉熵损失函数(standard cross-entropy loss)
Step 2:通过regression system获得每个pixel在body part内部的精确坐标。
3.2 Region-based Dense Pose Regression
上述FCN系统训练起来比较容易,但是在同一个神经网络中实现part segmentation和pixel localization两个任务同时保持结果不变形是一个challenge,于是本文提出了region-based regression system。
上图为DensePose-RCNN的结构。本文在RoIAlign之前加了一个FCN(即3.1中介绍的那个),用来提供分类信息,即pixel属于哪个部位。其余部分和Mask-RCNN完全一致。
Inference速度:25fps on 320x240 images and 4-5fps on 800x1100 images using a GTX1080 graphics card
DensePose学习笔记相关推荐
- OpenMMLab AI实战营第二期|人体关键点检测与MMPose学习笔记
OpenMMLab AI实战营第二期|人体关键点检测与MMPose学习笔记 文章目录 OpenMMLab AI实战营第二期|人体关键点检测与MMPose学习笔记 一.前言 1.1 人体姿态概述 1.2 ...
- PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解 call
您的位置 首页 PyTorch 学习笔记系列 PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解 发布: 2017年8月4日 7,195阅读 ...
- 容器云原生DevOps学习笔记——第三期:从零搭建CI/CD系统标准化交付流程
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
- 容器云原生DevOps学习笔记——第二期:如何快速高质量的应用容器化迁移
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
- 2020年Yann Lecun深度学习笔记(下)
2020年Yann Lecun深度学习笔记(下)
- 2020年Yann Lecun深度学习笔记(上)
2020年Yann Lecun深度学习笔记(上)
- 知识图谱学习笔记(1)
知识图谱学习笔记第一部分,包含RDF介绍,以及Jena RDF API使用 知识图谱的基石:RDF RDF(Resource Description Framework),即资源描述框架,其本质是一个 ...
- 计算机基础知识第十讲,计算机文化基础(第十讲)学习笔记
计算机文化基础(第十讲)学习笔记 采样和量化PictureElement Pixel(像素)(链接: 采样的实质就是要用多少点(这个点我们叫像素)来描述一张图像,比如,一幅420x570的图像,就表示 ...
- Go 学习推荐 —(Go by example 中文版、Go 构建 Web 应用、Go 学习笔记、Golang常见错误、Go 语言四十二章经、Go 语言高级编程)
Go by example 中文版 Go 构建 Web 应用 Go 学习笔记:无痕 Go 标准库中文文档 Golang开发新手常犯的50个错误 50 Shades of Go: Traps, Gotc ...
最新文章
- 2022-2028年中国粘网胶行业市场深度评估及发展前景规划报告
- 2021级山西高考成绩查询时间,2021山西高考成绩什么时候出
- 用python画玫瑰花教程-利用Python的turtle库绘制玫瑰教程
- 线框图(demo草图)制作的总结
- 【机器视觉】 measure_projection算子
- 文献记录(part90)--A novel density-based clustering algorithm using nearest neighbor graph
- 六一儿童节,看我用ModelArts让8090梦回童年
- 信息论常见概念:熵、互信息、KL散度和信息增益
- php 其他盘文件格式,常见的硬盘有几种格式? 教你选择硬盘的技巧
- 中国企业人工智能应用之道——从“浅尝试”到“规模化”.pdf(附下载链接)...
- PHP 实例 AJAX 与 MySQL
- VMware 未能初始化监视器
- 【python基础】windows下python环境版本更新教程
- 电脑连接上WIFI后,如何查看WIFI密码?
- touch.pageX/touch.screenX/touch.clientX的区别
- 苹果手机群控 ios免越狱中控 非越狱脚本高清投屏
- 大学四年学习生活成长总结
- windows安装RabbitMQ以及Erlang
- SCORM 基础知识
- c语言日历设计程序框图,C语言课程设计————写下流程图! 谢谢