感知手的形状和动作的能力可能是在各种技术领域和平台上改善用户体验的重要组成部分。例如，它可以构成手语理解和手势控制的基础，并且还可以在增强现实中将数字内容和信息覆盖在物理世界之上。虽然自然而然地出现在人们手中，但是强大的实时手感知力无疑是一项具有挑战性的计算机视觉任务，因为手经常相互遮挡自己或彼此（例如手指/手掌遮挡和握手），并且缺乏高对比度模式。

MediaPipe Hands是一种高保真手和手指跟踪解决方案。它采用机器学习（ML）来从一个帧中推断出手的21个3D界标。

MediaPipe Hands利用ML管道，该ML管道由多个相互配合的模型组成：

一种手掌检测模型，可在完整图像上运行并返回定向的手边界框。

一个手部界标模型，该模型在由手掌检测器定义的裁剪图像区域上操作并返回高保真3D手部关键点。

将精确裁剪的手部图像提供给手部界标模型可以极大地减少对数据增强（例如旋转，平移和缩放）的需求，并且可以使网络将其大部分功能专用于坐标预测精度。

手掌检测模型

为了检测手的初始位置，设计了模型，该模型针对移动实时使用进行了优化，其方式类似于的人脸检测模型。

通过上述技术，在手掌检测方面达到了95.7％的平均精度。使用规则的交叉熵损失并且没有解码器给出的基线仅为86.22％。

手地标模型

在整个图像上进行手掌检测之后，我们随后的手界标模型将通过回归（即直接坐标预测）对检测到的手区域内

利用机器学习(mediapipe)，进行人手的21个3D手关节坐标检测相关推荐

Python 3 利用机器学习模型进行手写体数字检测
0.引言介绍了如何生成手写体数字的数据,提取特征,借助 sklearn 机器学习模型建模,进行识别手写体数字 1-9 模型的建立和测试. 用到的几种模型: 1. LR,Logistic Regres ...
独家 | 数据分析@爱可可-爱生活是否利用机器学习算法运营微博
微博账号@爱可可-爱生活是数据科学圈的网红,因每天分享大量精选的数据科学领域的学习资料而出名,深受粉丝关注和喜爱.该账号每天从早晨4-5点开始发微博,日均发布大几十条原创,有人不禁质疑,它的运营者北邮 ...
利用机器学习进行情感分析
利用机器学习进行情感分析 1.导入电影评论数据集此电影评论数据集包含有50000条评论信息,其中已经标记评论信息在6颗星以上的为positive, 评论信息在5颗星以下的为negative. 原始数 ...
利用机器学习拟合复杂函数，并利用遗传算法求最优解
利用机器学习拟合复杂函数,并利用遗传算法求最优解编程语言:Python 利用工具:sklearn.keras.geatpy 步骤原理简述: 1.利用机器学习到数据集的多维特征和输出的拟合函数关系(模 ...
python机器学习手写字体识别_Python 3 利用机器学习模型进行手写体数字检测
0.引言介绍了如何生成手写体数字的数据,提取特征,借助 sklearn 机器学习模型建模,进行识别手写体数字 1-9 模型的建立和测试. 用到的几种模型: 1. LR,Logistic Regres ...
《Nature》重磅 | 研究员利用机器学习发现近 6000 种未知病毒
作者:李雨晨 <Nature>杂志近日发布消息称,研究人员利用人工智能发现了近6000种未知的病毒.这项工作是在3月15日由美国能源部(DOE)组织的一次会议上提出的,它展示了一种探索地球 ...
美国银行将 AI 应用于企业应收账款处理；联合国或将利用机器学习技术帮助救灾工作...
8 月 24 日消息,据外媒报道,美国银行(Bank of America)与 Fintech 创业公司 High Radius达成合作,将人工智能应用于企业应收账款处理.该应用程序专为大型.复杂的公 ...
利用机器学习算法对实验室小鼠的睡眠阶段自动分类
目录本分享为脑机学习者Rose整理发表于公众号:脑机接口社区 .QQ交流群:941473018 筑波大学(Universityof Tsukuba)的研究人员结合两种流行的机器学习方法,创造了一种 ...
搜索引擎利用机器学习排序
搜索引擎利用机器学习排序标签: 搜索引擎机器学习排序 2013-07-29 20:52 1414人阅读评论(0) 收藏举报本文章已收录于: 分类: 机器学习与数据挖掘(24) 作者同类文章X ...

利用机器学习(mediapipe)，进行人手的21个3D手关节坐标检测

MediaPipe Hands利用ML管道，该ML管道由多个相互配合的模型组成：

手掌检测模型

手地标模型

利用机器学习(mediapipe)，进行人手的21个3D手关节坐标检测相关推荐

最新文章

热门文章