项目要求

在一段视频中，通过检测人眨眼的次数来判断他的疲劳程度。

代码实现

1、导入工具包

from scipy.spatial import distance as dist
import numpy as np
import dlib
import cv2

2、对脸上的部位进行定义

在关键点定位的官方文档中，提取68个关键点来表示脸上的部位。其中：

第1个点到第17个点：脸颊；
第18个点到第22个点：右边眉毛；
第23个点到第27个点：左边眉毛；
第28个点到第36个点：鼻子；
第37个点到第42个点：右眼；
第43个点到第48个点：左眼；
第49个点到第68个点：嘴巴。
如下图所示：

FACIAL_LANDMARKS_68_IDXS = dict([("mouth", (48, 68)),("right_eyebrow", (17, 22)),("left_eyebrow", (22, 27)),("right_eye", (36, 42)),("left_eye", (42, 48)),("nose", (27, 36)),("jaw", (0, 17))
])

3、EAR（eye aspect ratio）计算函数

在论文：Real-Time Eye Blink Detection using Facial Landmarks中，EAR的概念被提出。
在包含着人眼的图片中画出六个点，如图所示：

当人眨眼时，这六个点的距离会发生变化，则可以用这六个点的一些距离关系来判断是否有眨眼行为。
定义EAR函数：

def eye_aspect_ratio(eye):# 计算距离，竖直的A = dist.euclidean(eye[1], eye[5])B = dist.euclidean(eye[2], eye[4])# 计算距离，水平的C = dist.euclidean(eye[0], eye[3])# ear值ear = (A + B) / (2.0 * C)return ear

4、定义得到关键点坐标的函数

具体原因可以参考我的另一篇博文：Opencv之人脸关键点定位。

def shape_to_np(shape, dtype="int"):# 创建68*2coords = np.zeros((shape.num_parts, 2), dtype=dtype)# 遍历每一个关键点# 得到坐标for i in range(0, shape.num_parts):coords[i] = (shape.part(i).x, shape.part(i).y)return coords

5、设置判断参数

如果EAR小于0.3，则判断为闭眼，如果视频中有连续三帧以上都有闭眼，则判断为眨眼行为

# 设置判断参数
EYE_AR_THRESH = 0.3  # ear小于0.3判断为闭眼
EYE_AR_CONSEC_FRAMES = 3  # 连续三帧ear都小于0.3判断为眨眼# 初始化计数器
COUNTER = 0
TOTAL = 0

6、加载dlib库中的人脸检测与关键点定位

detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

7、分别取两个眼睛区域

(lStart, lEnd) = FACIAL_LANDMARKS_68_IDXS["left_eye"]
(rStart, rEnd) = FACIAL_LANDMARKS_68_IDXS["right_eye"]

8、读取视频

vs = cv2.VideoCapture('test.mp4')

9、对每一帧图片进行操作，实现功能

读取一帧图片并做预处理操作；
检测人脸；
获取人脸上的关键点坐标；
绘制眼睛区域；
计算左右两眼的EAR值，取平均值得到总的EAR值；
检查EAR值是否满足阈值，如果满足，眨眼次数加一；
将总的眨眼次数写在视频中。

# 遍历每一帧
while True:# 预处理frame = vs.read()[1]if frame is None:break(h, w) = frame.shape[:2]width=1200r = width / float(w)dim = (width, int(h * r))frame = cv2.resize(frame, dim, interpolation=cv2.INTER_AREA)gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)# 检测人脸rects = detector(gray, 0)# 遍历每一个检测到的人脸for rect in rects:# 获取坐标shape = predictor(gray, rect)shape = shape_to_np(shape)# 分别计算ear值leftEye = shape[lStart:lEnd]rightEye = shape[rStart:rEnd]leftEAR = eye_aspect_ratio(leftEye)rightEAR = eye_aspect_ratio(rightEye)# 算一个平均的ear = (leftEAR + rightEAR) / 2.0# 绘制眼睛区域leftEyeHull = cv2.convexHull(leftEye)rightEyeHull = cv2.convexHull(rightEye)cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)# 检查是否满足阈值if ear < EYE_AR_THRESH:COUNTER += 1else:# 如果连续几帧都是闭眼的，总数算一次if COUNTER >= EYE_AR_CONSEC_FRAMES:TOTAL += 1# 重置COUNTER = 0# 显示cv2.putText(frame, "Blinks: {}".format(TOTAL), (10, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.putText(frame, "EAR: {:.2f}".format(ear), (300, 30),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)cv2.imshow("Frame", frame)key = cv2.waitKey(10) & 0xFFif key == 27:breakvs.release()
cv2.destroyAllWindows()

最终效果

需要源码及视频的朋友可以戳这里下载哦。

Opencv之疲劳检测相关推荐

dlib疲劳检测_使用OpenCv和Dlib进行打哈欠检测
OpenCV: OpenCV是一个用于计算机视觉的库函数,最初是用c++编写的. Dlib: Dlib是一个Python库,包含了数据挖掘.数据结构.机器学习.图像处理等工具. 打哈欠检测与应用打哈 ...
dlib疲劳检测_基于OpenCV的实时睡意检测系统
该系统可以检测一个人在开车时是否困倦,如果有的话,可以通过使用语音消息实时提醒他.该系统使用网络摄像头和电话摄像头进行实时数据传输. 研究目的根据国家公路交通安全管理局的数据,每年均涉及疲劳驾驶事故 ...
Python基于OpenCV的实时疲劳检测[源码＆演示视频＆部署教程]
1.图片演示 2.视频演示 [项目分享]Python基于OpenCV的实时疲劳检测[源码&演示视频&部署教程]_哔哩哔哩_bilibili 3.检测方法 1)方法与用于计算眨眼的传统 ...
12月28日 OpenCV 实战基础学习笔记——疲劳检测
文章目录前言一.眨眼疲劳检测前言本文为12月28日 OpenCV 实战基础学习笔记--疲劳检测. 一.眨眼疲劳检测 from scipy.spatial import distance as ...
找不到opencv_world310.lib OpenCv 一次配置永久使用基于OpenCv4.0 于仕琪算法 dlib的疲劳检测
第1次写博客格式啥的还不是很好,前期配置了OpenCv4.0,然后因为OpenCv自身的人脸检测功能速度相比于仕琪老师自己写的库而言更慢一点,然后又配置了一下于仕琪老师的库.最后基本实现了人脸检测的 ...
Opencv项目实战：基于dlib的疲劳检测
文章目录一.项目简介二.算法原理三.环境配置 3.1.dlib人脸检测器:dlib.get_frontal_face_detector() 3.2.dlib关键点定位工具:shape_predi ...
图像识别毕业设计人脸识别与疲劳检测系统设计与实现 - python opencv
文章目录 0 前言 1 课题背景 2 Dlib人脸识别 2.1 简介 2.2 Dlib优点 2.3 相关代码 2.4 人脸数据库 2.5 人脸录入加识别效果 3 疲劳检测算法 3.1 眼睛检测算法 3 ...
毕业设计机器视觉 opencv 深度学习驾驶人脸疲劳检测系统 -python
文章目录 0 前言 1 课题背景 2 Dlib人脸识别 2.1 简介 2.2 Dlib优点 2.3 相关代码 2.4 人脸数据库 2.5 人脸录入加识别效果 3 疲劳检测算法 3.1 眼睛检测算法 3 ...
python毕业设计机器视觉驾驶人脸疲劳检测系统 - opencv
文章目录 0 前言 1 课题背景 2 Dlib人脸识别 2.1 简介 2.2 Dlib优点 2.3 相关代码 2.4 人脸数据库 2.5 人脸录入加识别效果 3 疲劳检测算法 3.1 眼睛检测算法 3 ...
机器视觉毕业设计深度学习驾驶人脸疲劳检测系统 - python opencv
文章目录 0 前言 1 课题背景 2 Dlib人脸识别 2.1 简介 2.2 Dlib优点 2.3 相关代码 2.4 人脸数据库 2.5 人脸录入加识别效果 3 疲劳检测算法 3.1 眼睛检测算法 3 ...

Opencv之疲劳检测