Non-contact Pain Recognition from Video Sequences with Remote Physiological Measurements Prediction
IJCAI21论文疼痛状态检测
Non-contact Pain Recognition from Video Sequences with Remote Physiological Measurements Prediction
摘要
疼痛识别的三种方法
- 外观变化
- 生理信号线索
- 融合以上两种信息
有两个问题
- 长程时间考虑不足，过于受每个受测对象影响
- 生理信号测量
所以提出了rPPG-enriched Spatio-Temporal Attention Network (rSTAN)的多任务模型。
介绍
一开始人们考虑的是面部信息，但容易被个体影响，接着就有人提出生理信号12。
本文章提出四个贡献：
- 新网络。
- VAE模块增强生理信号。
- 时空注意力模块改善外观信号。
- SOTA并证明可以完成这个任务。
相关工作
有通过landmark距离和纹理变化判断痛苦程度的。有通过几何变化和头部变化。
在生理信号方面：心率，皮肤电导，脑血流动力学，骨骼肌。
利用生理数据辅助基于面部外观的疼痛识别是近年来的趋势。将三种生理信号(心电图、肌电图、皮肤电反应)与面部特征相结合，以多模态方式对疼痛严重程度进行分类。通过不同的融合方案融合面部外观特征和生理特征进行疼痛估计。
算法
可以做一个整体的描绘：一个识别心率的网络加上一个带了时空注意力机制的痛苦表情分类网络，通过VFE结合。
VFE
先用心率的特征图生成一张注意力图，注意力乘以表情的特征图。
实验部分
数据集
Biovid数据集
UNBC数据集
[K ̈ achele et al., 2015] Markus K ̈ achele, Patrick Thiam, Mohammadreza Amirian, Philipp Werner, Steffen Walter, Friedhelm Schwenker, and G ̈ unther Palm. Multimodal data fusion for person-independent, continuous estimation of pain intensity. In Proc. of International Conference on Engineering Applications of Neural Networks, pages 275285, 2015. ↩︎
[Lopez-Martinez and Picard, 2017] Daniel Lopez-Martinez and Rosalind Picard. Multi-task neural networks for personalized pain recognition from physiological signals. In Proc. of the International Conference on Affective Computing and Intelligent Interaction Workshops and Demos, pages 181–184, 2017. ↩︎
Non-contact Pain Recognition from Video Sequences with Remote Physiological Measurements Prediction相关推荐
- Learning Temporal Regularity in Video Sequences——视频序列的时间规则性学习
Learning Temporal Regularity in Video Sequences CVPR2016 无监督视频异常事件检测早期工作 摘要 由于对"有意义"的定义不明确 ...
- 【论文精读】2016-CVPR-Learning temporal regularity in video sequences
Learning temporal regularity in video sequences 论文地址链接 Abstract 由于视频中有意义活动(指异常)具有模糊的定义以及视频中场景混乱,因此 ...
- 【视频串流】《Lumos: towards Better Video Streaming QoE through Accurate Throughput Prediction》
目录 原文链接 ABR算法 估计模块 存在的问题 贡献 实验结果 Lumos设计 Lumos表现 原文链接 Lumos: towards Better Video Streaming QoE thro ...
- Action recognition in video
论文 backbone: i3d: https://arxiv.org/abs/1705.07750 non-local: https://arxiv.org/abs/1711.07971 slowf ...
- 【今日CV 计算机视觉论文速览 第109期】Wed, 1 May 2019
今日CS.CV 计算机视觉论文速览 Wed, 1 May 2019 Totally 40 papers ?上期速览✈更多精彩请移步主页 ?Segmentations is All You Need,提 ...
- 【技术综述】人脸表情识别研究
李振东 北京邮电大学硕士在读,计算机视觉方向 言有三 毕业于中国科学院,计算机视觉方向从业者,有三工作室等创始人 作者 | 李振东/言有三 编辑 | 言有三 随着机器学习和深度神经网络两个领域的迅速发 ...
- 【人机交互技术】人脸表情识别技术综述（感觉写的比较简单）
表情识别技术综述 Abstract:Facial expression recognition is the key research direction in many fields such as ...
- 目标检测——人体行为检测核心期刊论文汇总
面向智能监控的行为识别 创新点:YOLO+CNN+LSTM(使用YOLO算法替代运动前景提取.R-CNN等目标检测方法) 数据集:MSR KTH 复杂背景下的手势识别 创新点:对TinyYOLOv3主 ...
- 论文笔记【A Comprehensive Study of Deep Video Action Recognition】
论文链接:A Comprehensive Study of Deep Video Action Recognition 目录 A Comprehensive Study of Deep Video A ...
最新文章
- 使用EasyRecovery 恢复被误删除的数据
- MySQL数据库乱码 - Linux下乱码问题解决
- 金山云html文件,金山云安全开放平台
- 64位操作系统上ArcGIS Server Manager页面不正常显示
- Leetcode744.Find Smallest Letter Greater Than Target寻找比目标字母大的最小字母
- linux脚本base64加密当时,【加密算法】Base64
- 大数据的特性优势有哪些
- Gigapixel AI 6.0 for Mac(图片无损放大软件)
- 安卓rom制作教程_【固件更新】极光ROM 小米MIX2、小米MAX2、小米Note3 MIUI11最新稳定版更新...
- Chrome插件hoxx
- 搭建深度学习环境及跑通Github代码
- Springboot 406错误
- 愿天下有情人都是失散多年的兄妹(bfs)
- 孤尽训练营打卡日记day17--面向对象
- 计算机硬件系统维护经验与体会,计算机操作系统维护与优化的实训报告心得体会.docx...
- 去除 WPS 的广告
- Python常用标准库(一)
- element rules 校验
- 微信小程序真机调试不能访问本地API
- python自动抢票的原理_Python突破12306最后一道防线，实现自动抢票（附源码）