1.一种非接触式的学习状态监测系统,其特征在于:包括数据采集模块、特征检测模块和可视化界面模块;所述数据采集模实时获取图像,并将图像数据传输至特征采集模块进行处理,完成学习状态检测,可视化界面模块读取特征采集模块中所存储的数据,并将其显示于界面上,为远程学习的管理员和学习者本身提供特征值检测结果;步骤如下:(1)数据采集模块通过摄像头,以固定频率读取实时图像帧,按时间先后顺序依次传递给特征检测模块;
(2)特征采集模块通过图像处理,进行人脸关键点检测、头部偏转角度估计、眨眼检测、哈欠检测和心率估计;其中,头部偏估计步骤具体包括以下步骤:(4.1)选取人脸特征点检测中鼻尖、下巴、左眼的左眼角、右眼的右眼角、左嘴角和右嘴角这6个关键点;记录其图像中的2D位置和3D头部模型中的位置;
(4.2)用平移矩阵和旋转矩阵来描述头部相对于摄像头的姿态;其中,平移矩阵T表示头部相对于摄像头的空间位置关系矩阵,旋转矩阵R表示头部相对于摄像头的空间姿态关系矩阵;
(4.3)记关键点的世界坐标系中3D位置为(U,V,W),在相机坐标系中的位置为(X,Y,Z),世界坐标系位置和相机坐标系位置与平移矩阵t和旋转矩阵R满足如下关系:其中,X,Y,Z为关键点在相机坐标系三个方向上的坐标值,U,V,W为关键点在世界坐标系三个方向上的坐标值,R为头部相对于相机中心的旋转矩阵,t为头部相对于相机中心的平移矩阵;
(4.4)根据已有的6个关键点求解以上关系中的旋转矩阵,并将旋转矩阵转化为欧拉角,得到学习者头部的俯仰角、偏航角和滚转角,即抬头低头程度、左右转头程度和左右摆头程度,并将数据记录进入数据库中;
(3)可视化界面模块实时读取特征检测模块在数据库内保存的数据,并将其展示于界面,为远程学习的管理员和学习者本身提供特征值检测结果。
2.根据权利要求1所述非接触式的学习状态监测系统,其特征在于,步骤(2)中,所述人脸关键点检测具体包括以下步骤:(3.1)按时间先后顺序将图像传递给Dlib工具包中的正向人脸检测器,得到在当前帧内检测到的人脸数量和人脸区域;
(3.2)若步骤(3.1)中检测到的人脸数量为0,则本步骤省略;若检测到的人脸数量不为
0,则利用Dlib中68点特征预测器,得到人脸区域最大的人脸的68个面部特征点在帧图像的像素点位置。
3.根据权利要求1所述的非接触式的学习状态监测系统,其特征在于,步骤(2)中,所述眨眼检测和哈欠检测步骤具体包括以下步骤:(5.1)选取人脸关键点检测中的眼部6个关键点,实时读取这六个点在帧图像中的位置;
(5.2)考虑到学习者的姿态影响,根据头部角度估计所得到的结果对当前图像做仿射变换,将原图片矫正为以学习者正脸为中心,得到仿射变换后的6个关键点位置;
(5.3)计算人眼纵横比;
(5.4)设置眨眼检测的阈值,当人眼纵横比低于阈值时,判定为闭眼;同理选取嘴部关键点进行哈欠检测;将每一帧的检测结果存入数据库中,并标记闭眼/睁眼状态;
(5.5)从数据库中读入当前时刻及之前的N帧图像,计算出闭眼状态的帧数M,计算疲劳状态M/N的值,当M/N超过30%以后,判定当前学习者为疲劳状态;将当前疲劳状态值记录进数据库。
4.根据权利要求3所述的非接触式的学习状态监测系统,其特征在于:所述步骤(5.4)中,阈值的设置区间为[0.15,0.2]。
5.根据权利要求3所述的非接触式的学习状态监测系统,其特征在于:所述步骤(5.5)中,N的取值区间为[150,300]。
6.根据权利要求1所述的非接触式的学习状态监测系统,其特征在于,步骤(2)中,所述心率估计具体包括以下步骤:(8.1)根据人脸关键点的位置,确定额头区域为感兴趣区域;在每一帧图像中截取额头区域并保存;
(8.2)将截取的额头区域图像转换为RGB图像,提取其中的绿色信道值,计算额头区域的平均绿色信号值作为特征值;
(8.3)保存分析时序的感兴趣区域平均绿色信号值;使用巴特沃斯滤波器进行数据的预处理,过滤掉噪声干扰;
(8.4)计算当前时序数据中的最大差值,并归一化处理;检测当前时序内的波峰,统计波峰个数为n个,计算当前时序所占的连续时间为t秒,估计心率为n/s。