基于mediapipe的动作捕捉和Unity的球棍模型同步
基于mediapipe的动作捕捉和Unity的球棍模型同步
- 所需环境
- python端
- unity端
- 效果
所需环境
这是我所使用的环境
python3.9 安装mediapipe和opencv-python包
python和Unity通信使用socket
Unity2021.3
python端
如何安装那两个包我就不说了,大家有不明白可以去百度
mediapipe和opencv-python
1.把我们要使用的mediapipe的功能封装成一个module
这个module返回一个列表,列表中存放mediapipe识别到的特征点
import cv2
import mediapipe as mp
import timeclass poseDetector():def __init__(self, mode=False, upBody=False, smooth=True, detectionCon=0.5, trackCon=0.5):self.mode = modeself.upBody = upBodyself.smooth = smoothself.detectionCon = detectionConself.trackCon = trackConself.mpDraw = mp.solutions.drawing_utilsself.mpPose = mp.solutions.poseself.pose = self.mpPose.Pose(self.mode, self.upBody, self.smooth, False, True, # 这里的False 和True为默认self.detectionCon, self.trackCon) # pose对象 1、是否检测静态图片,2、姿态模型的复杂度,3、结果看起来平滑(用于video有效),4、是否分割,5、减少抖动,6、检测阈值,7、跟踪阈值'''STATIC_IMAGE_MODE:如果设置为 false,该解决方案会将输入图像视为视频流。它将尝试在第一张图像中检测最突出的人,并在成功检测后进一步定位姿势地标。在随后的图像中,它只是简单地跟踪那些地标,而不会调用另一个检测,直到它失去跟踪,以减少计算和延迟。如果设置为 true,则人员检测会运行每个输入图像,非常适合处理一批静态的、可能不相关的图像。默认为false。MODEL_COMPLEXITY:姿势地标模型的复杂度:0、1 或 2。地标准确度和推理延迟通常随着模型复杂度的增加而增加。默认为 1。SMOOTH_LANDMARKS:如果设置为true,解决方案过滤不同的输入图像上的姿势地标以减少抖动,但如果static_image_mode也设置为true则忽略。默认为true。UPPER_BODY_ONLY:是要追踪33个地标的全部姿势地标还是只有25个上半身的姿势地标。ENABLE_SEGMENTATION:如果设置为 true,除了姿势地标之外,该解决方案还会生成分割掩码。默认为false。SMOOTH_SEGMENTATION:如果设置为true,解决方案过滤不同的输入图像上的分割掩码以减少抖动,但如果 enable_segmentation设置为false或者static_image_mode设置为true则忽略。默认为true。MIN_DETECTION_CONFIDENCE:来自人员检测模型的最小置信值 ([0.0, 1.0]),用于将检测视为成功。默认为 0.5。MIN_TRACKING_CONFIDENCE:来自地标跟踪模型的最小置信值 ([0.0, 1.0]),用于将被视为成功跟踪的姿势地标,否则将在下一个输入图像上自动调用人物检测。将其设置为更高的值可以提高解决方案的稳健性,但代价是更高的延迟。如果 static_image_mode 为 true,则忽略,人员检测在每个图像上运行。默认为 0.5。'''def findPose(self, img, draw=True):imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 将BGR格式转换成灰度图片self.results = self.pose.process(imgRGB) # 处理 RGB 图像并返回检测到的最突出人物的姿势特征点。if self.results.pose_landmarks:if draw:self.mpDraw.draw_landmarks(img, self.results.pose_landmarks, self.mpPose.POSE_CONNECTIONS)# results.pose_landmarks画点 mpPose.POSE_CONNECTIONS连线return imgdef findPosition(self, img, draw = True):#print(results.pose_landmarks)lmList = []if self.results.pose_landmarks:for id, lm in enumerate(self.results.pose_landmarks.landmark): # enumerate()函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列,同时列出数据和数据下标h, w, c = img.shape # 返回图片的(高,宽,位深)cx, cy, cz = int(lm.x * w), int(lm.y * h), int(lm.z * w) # lm.x lm.y是比例 乘上总长度就是像素点位置lmList.append([id, cx, cy, cz])if draw:cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED) # 画蓝色圆圈return lmListdef main():# cap = cv2.VideoCapture(0) # 调用电脑摄像头# cap = cv2.VideoCapture('video/2.mp4') # 视频# cap = cv2.VideoCapture('video/3.png')cap = cv2.VideoCapture('video/ASOUL.mp4')pTime = 0detector = poseDetector()while True:success, img = cap.read() # 第一个参数代表有没有读取到图片True/False 第二个参数frame表示截取到一帧的图片 读进来直接是BGR 格式数据格式img = detector.findPose(img)lmList = detector.findPosition(img)if len(lmList) != 0:print(lmList) # print(lmList[n]) 可以打印第n个# 计算帧率cTime = time.time()fps = 1 / (cTime - pTime)pTime = cTimecv2.putText(img, str(int(fps)), (70, 50), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 0), 3) # 图片上添加文字 参数:图片 要添加的文字 文字添加到图片上的位置 字体的类型 字体大小 字体颜色 字体粗细cv2.imshow("Image", img) # 显示图片cv2.waitKey(3) # 等待按键if __name__ == "__main__":main()
2.把一帧图像的33个特征点的信息变成一个字符串,以 “,”隔开
通过socket构建一个客户端client,把包含特征点信息的字符串发送到unity的服务端
import cv2
import time
import PoseModule as pm
import socketpTime = 0def computeFPS():global pTimecTime = time.time()fps = 1 / (cTime - pTime)pTime = cTimecv2.putText(img, str(int(fps)), (70, 50), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 0), 3) # 图片上添加文字 参数:图片 要添加的文字 文字添加到图片上的位置 字体的类型 字体大小 字体颜色 字体粗细# cap = cv2.VideoCapture(0) # 调用电脑摄像头
cap = cv2.VideoCapture('video/2.mp4') # 视频# 构建一个实例,去连接服务端的监听端口。
client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
client.connect(('127.0.0.1', 1234))
# msg=client.recv(1024)
# print('New message from server: %s' % msg.decode('utf-8'))detector = pm.poseDetector()
strdata = "" # 定义字符串变量
while True:success, img = cap.read() # 第一个参数代表有没有读取到图片True/False 第二个参数frame表示截取到一帧的图片 读进来直接是BGR 格式数据格式img = detector.findPose(img)lmList = detector.findPosition(img)# if len(lmList) != 0:# print(lmList)if len(lmList) != 0:for data in lmList:print(data) # print(lmList[n]) 可以打印第n个for i in range(1, 4):if i == 2:strdata = strdata + str(img.shape[0] - data[i]) + ','else:strdata = strdata + str(data[i]) + ','print(strdata)client.send(strdata.encode('utf-8'))strdata = ""computeFPS() # 计算帧率cv2.imshow("Image", img) # 显示图片cv2.waitKey(10) # 等待按键
unity端
1.在场景中构建出人的球棍模型,不需要在意他们的位置,通过代码给他们赋值,场景中的层级结构如图
场景中33个红色的球表示特征点,绿色的线表示骨架
具体需要多少骨架可以自己决定,我没有弄头上的
2.通过socket创建一个服务端(server),接收python客户端传来的特征点坐标数据,赋值给unity场景中的特征点
using System;
using System.Collections;
using System.Collections.Generic;
using System.Net;
using System.Net.Sockets;
using System.Text;
using System.Threading;
using UnityEngine;public class Server : MonoBehaviour
{//public GameObject leftshoulder;public GameObject[] Body;private static int myProt = 9999; //端口 static Socket serverSocket;Thread myThread;string str;Dictionary<string, Thread> threadDic = new Dictionary<string, Thread>();//存储线程,程序结束后关闭线程private void Start(){//服务器IP地址 ,127.0.0.1 为本机IP地址IPAddress ip = IPAddress.Parse("127.0.0.1");//IPAddress ip = IPAddress.Any; //本机地址Debug.Log(ip.ToString());serverSocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);IPEndPoint iPEndPoint = new IPEndPoint(ip, myProt);//serverSocket.Bind(new IPEndPoint(ip, myProt)); //绑定IP地址:端口 serverSocket.Bind(iPEndPoint); //绑定IP地址:端口 serverSocket.Listen(10); //最多10个连接请求 //Console.WriteLine("creat service {0} success",// serverSocket.LocalEndPoint.ToString());myThread = new Thread(ListenClientConnect);myThread.Start();//Console.ReadLine();Debug.Log("服务器启动...........");}public void Update(){if (str != null){Debug.Log(str);//接受的数据string[] points = str.Split(',');Debug.Log(points.Length);for (int i = 0; i <= 32; i++){float x = float.Parse(points[0 + (i * 3)]) / 100;float y = float.Parse(points[1 + (i * 3)]) / 100;float z = float.Parse(points[2 + (i * 3)]) / 300;Body[i].transform.localPosition = new Vector3(x, y, z);}}}// 监听客户端是否连接 private void ListenClientConnect(){while (true){Socket clientSocket = serverSocket.Accept(); //1.创建一个Socket 接收客户端发来的请求信息 没有消息时堵塞clientSocket.Send(Encoding.ASCII.GetBytes("Server Say Hello")); //2.向客户端发送 连接成功 消息Thread receiveThread = new Thread(ReceiveMessage); //3.为已经连接的客户端创建一个线程 此线程用来处理客户端发送的消息receiveThread.Start(clientSocket); //4.开启线程//添加到字典中string clientIp = ((IPEndPoint)clientSocket.RemoteEndPoint).Address.ToString();//Debug.Log( clientSocket.LocalEndPoint.ToString()); //获取ip:端口号if (!threadDic.ContainsKey(clientIp)){threadDic.Add(clientIp, receiveThread);}}}private byte[] result = new byte[1024]; //1.存入的byte值 最大数量1024//开启线程接收数据 (将Socket作为值传入)private void ReceiveMessage(object clientSocket){Socket myClientSocket = (Socket)clientSocket; //2.转换传入的客户端Socketwhile (true){try{//接收数据 int receiveNumber = myClientSocket.Receive(result); //3.将客户端得到的byte值写入//Debug.Log(receiveNumber);//子节数量if (receiveNumber > 0){str = Encoding.UTF8.GetString(result, 0, receiveNumber);//将接受的数据存到str变量中// Debug.Log(str);}else{Debug.Log("client: " + ((IPEndPoint)myClientSocket.RemoteEndPoint).Address.ToString() + "断开连接");threadDic[((IPEndPoint)myClientSocket.RemoteEndPoint).Address.ToString()].Abort(); //清除线程}}catch (Exception ex){//myClientSocket.Shutdown(SocketShutdown.Both); //出现错误 关闭SocketDebug.Log(" 错误信息" + ex); //打印错误信息break;}}}void OnApplicationQuit(){//结束线程必须关闭 否则下次开启会出现错误 (如果出现的话 只能重启unity了)myThread.Abort();//关闭开启的线程foreach (string item in threadDic.Keys){Debug.Log(item);//de.Key对应于key/value键值对key//item.Value.GetType()threadDic[item].Abort();}}}
3.让骨架连接对应的特征点
using System.Collections;
using System.Collections.Generic;
using UnityEngine;public class linecode : MonoBehaviour
{LineRenderer lineRenderer;public Transform oringin;public Transform destination;// Start is called before the first frame updatevoid Start(){lineRenderer = GetComponent<LineRenderer>();lineRenderer.startWidth = 0.1f;lineRenderer.endWidth = 0.1f;}// Update is called once per framevoid Update(){lineRenderer.SetPosition(0, oringin.position);lineRenderer.SetPosition(1, destination.position);}
}
具体场景中的脚本挂载情况可以下载工程查看
效果
资源下载:
链接:https://pan.baidu.com/s/1XBBWV1wCxyW0FyRTOtorkw?pwd=sbyq
提取码:sbyq
参考:https://www.youtube.com/watch?v=BtMs0ysTdkM
基于mediapipe的动作捕捉和Unity的球棍模型同步相关推荐
- OpenCV+Mediapipe手势动作捕捉与Unity引擎的结合
OpenCV+Mediapipe手势动作捕捉与Unity引擎的结合 前言 Demo演示 认识Mediapipe 项目环境 手势动作捕捉部分 实时动作捕捉 核心代码 完整代码 Hands.py py代码 ...
- 卡内基梅隆大学提出基于学习的动作捕捉模型,用自监督学习实现人类3D动作追踪
原文来源:Cornell University Library 作者:Hsiao-Yu Fish Tung.Hsiao-Wei Tung.Ersin Yumer. Katerina Fragkiada ...
- 动作捕捉技术,VR体验沉浸感的“助燃剂”
能够加强VR体验沉浸感的动作捕捉技术市场前景可观,它是未来VR体验的必备. 在电影<阿凡达>中,卡梅隆用动作捕捉技术完成了整部作品,让我们看到了动作捕捉在电影行业上的不可估量的潜力.在虚拟 ...
- 自动驾驶车通过动作捕捉,学会阅读街上人们的肢体语言
来源:机器学习研究组订阅号 编译:lin 想象一下,工人正在修复路面上一个大坑洞,因此拥有四条车道的马路缩小为两车道.一名工人左手松松地举着停车标志,用右手挥手示意汽车通过.如果是人来开车的话,自然 ...
- (转)认识动作捕捉系统 浅谈三种主流解决方案
转自http://news.17173.com/content/2016-03-14/20160314102718031.shtml 目前动作捕捉系统有惯性式和光学式两大主流技术路线,而光学式又分为标 ...
- 动作捕捉在动物神经与运动研究领域的应用
对于由神经系统疾病引起的运动障碍的康复治疗方案,需要预先进行动物实验,利用结果分析病症机理,并为制定治疗/康复方案提供实验依据. 脊髓损伤是中枢神经损伤的一种,它会引发运动功能部分或完全丧失.研究脊髓 ...
- 详解工业光魔动作捕捉神器iMoCap
本文转载自http://page.renren.com/vfx/note/843064044 iMoCap是工业光魔公司(ILM)在制作<加勒比海盗2>时研发的动作捕捉系统,它与之前 ...
- Mediapipe+OpenCV与Unity引擎实现动作捕捉
前言 之前写了一篇文章: Mediapipe+OpenCV图像识别技术与Unity引擎的结合 其中的技术是Python利用OpenCV图像捕捉,配合强大的Mediapipe库来实现人体动作检测与识别: ...
- 基于惯性动作捕捉技术进行快速动画制作教程
长久以来动画制作流程上有着诸多不可回避的问题,尤其在于角色动画的制作周期和动画效果方面,一般来说,每一秒钟的角色动画都需要动画师手动关键帧制作耗费8小时才能完成,也就是说,一个动画师每个月只能制作出2 ...
最新文章
- 在Java中是如何定义和声明接口的?
- 探索比特币源码3-熟悉RPC接口
- 超详细的jQuery的 DOM操作,一篇就足够!
- 修改Tomcat窗口名称
- linux终端下的网页浏览器w3m
- Android快速开发(2)
- BXP无盘介绍(转)
- 反编译DLL。并且修改DLL内容
- 1137:加密的病历单
- 计算机网络基础 习题,计算机网络基础练习题集.pdf
- c++入门 简单语句和复合语句
- 已知销售额怎么计算成本_计算成本根据销售额怎么样推算出成本,举例, – 手机爱问...
- 【Hadoop】Hadoop Snappy 安装 (Ubuntu 16.04)
- 高红梅 第二章 第二节 性别焦虑、两性关系与个人身份认同的困境
- springcloud:访问/bus/refresh地址后出现错误,,client端出现以下错误
- vue 同局域网访问不到问题
- 自动挡汽车开车教程,这十点要铭记在心
- PC威信 3.8.0 测试HOOK接口
- 音频交流项目测试(测试用例与总结)
- 电工技术实验箱QY-JXSY20