SFV: Reinforcement Learning of Physical Skills from Videos文章代码付现及问题整理

2024-06-26 07:23:50

一.原文

1.链接：https://xbpeng.github.io/projects/SFV/index.html

2.效果展示

二.如何让仿真机器人做到和原始视频中的动作一致

1.流程

整个的思路是：原始动作输入视频-->提取特征(人体姿态关节点数据)-->映射到仿真机器人

1.1方式一：video_to_bvh --> bvh_to_deepmimic

1.1.1：video_to_bvh

效果

HMR(Project page for End-to-end Recovery of Human Shape and Pose)链接：https://github.com/akanazawa/hmr

1.1.2：bvh_to_deepmimic

可以参考BvhToDeepMimic(Convert .bvh files (Biovision Hierarchy) to DeepMimic format.)链接：https://github.com/BartMoyaers/BvhToDeepMimic

1.2方式二：video_to_smpl --> smpl_to_deepmimic

1.2.1：video_to_smpl

效果

1.2.2：smpl_to_deepmimic

可以参考HMR to DeepMimic链接：https://github.com/GillesBareilles/MVA_ORCV_Presentation

三.替换成自己的数据

1：video_to_bvh方式

2：video_to_smpl方式

四.问题

1.演示：

2.可能的原因

在做映射到仿真机器人身上时遇到的一个最大问题就是：整个的姿态是可以较好的映射，但是根位置的映射以及需要一些手动修补，以获得根变换位置缩放和高度偏移正确。然而大部分的做法是：要不直接用腰关节(或者是臀关节)来当做根节点的位置，要不就是用腰关节(或者是臀关节)减去脚踝关节的差值当做根节点的位置

SFV: Reinforcement Learning of Physical Skills from Videos文章代码付现及问题整理相关推荐

《REINFORCEMENT LEARNING (DQN) TUTORIAL》的学习笔记
1 前言此博文是南溪学习<REINFORCEMENT LEARNING (DQN) TUTORIAL>的笔记~ 2 代码学习 2.1 Hyperparameters and utilit ...
【强化学习】Playing Atari with Deep Reinforcement Learning （2013）
Playing Atari with Deep Reinforcement Learning (2013) 这篇文章提出了第一个可以直接用强化学习成功学习控制policies的深度学习模型. 输入是r ...
Reinforcement Learning for UAV Attitude Control-强化学习的无人机姿态控制
系列文章目录 Reinforcement Learning for UAV Attitude Control-强化学习的无人机姿态控制文献链接代码链接作者:WILLIAM KOCH, RENAT ...
Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion
Sample-Efficient Reinforcement Learning with Stochastic Ensemble Value Expansion 文章来自Google Brain,提出 ...
POMO: Policy Optimization with Multiple Optima for Reinforcement Learning学习笔记
文章目录摘要零.一些基础 1.梯度近似 2.策略梯度定理 3.REINFORCE 4.REINFORCE with Baseline 5.REINFORCE Actor-Critic 6.多解旅行 ...
代码实现 Human-level control through deep reinforcement learning
代码实现 Human-level control through deep reinforcement learning 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档前言使用D ...
Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记
Deep Reinforcement Learning for Visual Object Tracking in Videos 论文笔记 arXiv 摘要:本文提出了一种 DRL 算法进行单目标跟踪 ...
ActionSpotter Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos
ActionSpotter: Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos 论文阅读笔记 1 ...
Deep Reinforcement Learning 深度增强学习资源
http://blog.csdn.net/songrotek/article/details/50572935 1 学习资料增强学习课程 David Silver (有视频和ppt): http:/ ...

最新文章

热门文章