博客

1.眨眼检测原理

基于dlib人脸识别68特征点检测、分别获取左右眼面部标志的索引，通过opencv对视频流进行灰度化处理，检测出人眼的位置信息。

人脸特征点检测用到了dlib，dlib有两个关键函数：dlib.get_frontal_face_detector()和dlib.shape_predictor(predictor_path)。

前者是内置的人脸检测算法，检测人脸区域的界限

后者是用来检测一个区域内的特征点，并输出这些特征点的坐标，它需要一个预先训练好的模型（通过文件路径的方法传入），才能正常工作。

使用开源模型shape_predictor_68_face_landmarks.dat，可以得到68个特征点位置的坐标

点我下载开源数据集

基本原理：计算 眼睛长宽比EAR.当人眼在正常状态下时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降。所以我们认为当EAR低于某个阈值时，眼睛处于闭合状态。为检测眨眼次数，我们设置了阈值为0.2，如果当前帧两双眼睛宽高比的平均值小于0.2，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动。

（68点landmark中可以看到37-42为左眼，43-48为右眼）

右眼开合度可以通过以下公式得到（左眼同理）：

通过计算38、39、42、41的纵坐标、37、40的横坐标来计算眼睛的睁开度。如：1/2*[(y42+y41)-(y38+y39)]/(x40-x37)通过一个阈值确定眼睛是睁开还是闭上。也可以将这个值与初始的值的比值作为睁开度，根据不同程度来进行比较。睁开度从大到小为进入闭眼期，从小到大为进入睁眼期，计算 最长闭眼时间（可用帧数来代替）闭眼次数为进入闭眼、进入睁眼的次数 。

主要代码思路

第一步：使用dlib.get_frontal_face_detector() 获得脸部位置检测器

第二步：使用dlib.shape_predictor获得脸部特征位置检测器

第三步：分别获取左右眼面部标志的索引

第四步：打开cv2 本地摄像头

第五步：从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化

第六步：使用detector(gray, 0) 进行脸部位置检测

第七步：循环脸部位置信息，使用predictor(gray, rect)获得脸部特征位置的信息

第八步：将脸部特征信息转换为数组array的格式

第九步：提取左眼和右眼坐标

第十步：构造函数计算左右眼的EAR值，使用平均值作为最终的EAR

第十一步：使用cv2.convexHull获得凸包位置，使用drawContours画出轮廓位置进行画图操作

第十二步：进行画图操作，用矩形框标注人脸

第十三步：分别计算左眼和右眼的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动

第十四步：进行画图操作，68个特征点标识

第十五步：进行画图操作，同时使用cv2.putText将眨眼次数进行显示

2.打哈欠检测原理

嘴部主要取六个参考点：

打哈欠可利用嘴巴处通过计算51、59、53、57、的纵坐标、49、55的横坐标来计算眼睛的睁开度。如：1/2*[(y51+y53)-(y59+y57)]/(x55-x49)点的距离来判断是否张嘴及张嘴时间，从而确定人是否是在打哈欠，同时这个阈值应当合理，能够与正常说话或哼歌区分开来。

同眼睛相类似方法求嘴部欧式距离：

主要代码思路

Step1:提取帧图像检测人脸，嘴部粗定位进行肤色分割；

Step2: 嘴部精确定位，获取嘴部欧式距离K1，若k1大于阈值T1，则Step3,并且count+1；否则count=0回到step1，检测下一帧。

Step3: 统计哈欠特征值count,当count超过阈值3,则记作打一次哈欠，保存count到Yawn，Yawn(i)=count，count=0（count清0）回到Step1，否则的话也直接转回Step1。

3.瞌睡点头检测原理

采用Head Pose Estimation(头部姿态估计) 算法,该算法的步骤一般为：2D人脸关键点检测；3D人脸模型匹配；求解3D点和对应2D点的转换关系；根据旋转矩阵求解欧拉角

https://developer.aliyun.com/article/674048

https://blog.csdn.net/lql0716/article/details/72597719

具体原理请看上面那两篇博客，网上有开源代码(如下)，大神已经帮我们搞好了，我们拿来直接用就行，最后得到欧拉角

点我查看参考代码

主要代码思路

头部姿态判断打瞌睡得到实时头部姿态的旋转角度过后,如下所示为头部旋转角度的3个参数Yaw,Pitch和Roll的示意图,驾驶员在打瞌睡时，显然头部会做类似于点头和倾斜的动作.而根据一般人的打瞌睡时表现出来的头部姿态，显然很少会在Yaw上有动作，而主要集中在Pitch和Roll的行为.设定参数阈值为0.3,在一个时间段内10 s内，当I PitchI≥20°或者|Rolll≥20°的时间比例超过0.3时,就认为驾驶员处于点头打瞌睡的状态

4.多信息融合的疲劳判断

我们分别计算出单位时间内瞌睡点头的频率，眨眼频率以及打哈欠的频率分别赋予他们不同的权值，采用信息融合的方式进行综合打分，最后根据最终分数，设置疲劳等级，分别为轻度疲劳，中度疲劳和重度疲劳，相应的做出报警等操作，可自行观看源代码理解

5.效果展示

5.1ui界面设计

[

5.2效果演示

[

5.3报表界面部分演示

6.项目进展

7.界面参数介绍

8.文件介绍

main.py————————-主程序

sats2.py————————–报表界面制作(pyecharts,感觉还是挺好用的，具体操作可以看官网文档，中国人开发的库值得推荐)

pyecharts gallery


pyecharts操作手册

images目录下存放图片png以及ico

model目录下存放68人脸关键点模型

fatigue_detect.html—————–可视化报表

9.项目所有源代码获取

私信我获取完整源代码

10.参考博客

https://blog.csdn.net/cungudafa/article/details/103477960

https://blog.csdn.net/cungudafa/article/details/103499230

https://blog.csdn.net/cungudafa/article/details/103496881

https://blog.csdn.net/lql0716/article/details/72597719

https://developer.aliyun.com/article/674048