1.一种人体睡眠状态检测方法,其特征在于,按如下步骤S1‑步骤S7,获得人体睡眠状态检测模型,然后应用人体睡眠状态检测模型,完成对人体睡眠状态的检测;
S1.以固定图像获取姿态,实时采集包含目标人体的头部、左脚、右脚,以及其他预设人体部位的视频,每个人体部位上至少存在三个检测点,其中头部的检测点中包括额头检测点,左脚的检测点中包括左脚底检测点,右脚的检测点中包括右脚底检测点;
S2.以各人体部位的视频为输入,以各人体部位分别所对应按时序排列的视频帧序列为输出,构建视频帧转化模块,其中视频帧序列中的各视频帧为NIR格式;
S3.基于卷积神经网络,以各人体部位分别所对应按时序排列的视频帧序列为输入,以各人体部位上各检测点分别在所属视频帧中的位置为输出,构建人体部位位置检测模块;
S4.以人体部位位置检测模块输出的目标人体的额头检测点、左脚底检测点、右脚底检测点的位置为输入,以目标人体的身高参数为输出,构建人体身高参数计算模块;
S5.以人体部位位置检测模块输出的目标人体的各人体部位的各检测点在各视频帧中的位置、以及人体身高参数计算模块输出的身高参数为输入,以预设周期对视频帧序列进行划分,针对每个预设周期,以各人体部位的移动持续时间、各人体部位发生移动的次数为输出,构建人体部位移动检测模块;
其中基于人体部位位置检测模块输出的各人体部位的各检测点在各视频帧中的位置,计算各人体部位的各检测点在相邻两视频帧中的位移,并基于目标人体的身高参数,针对每个检测点的位移预设与目标人体的身高参数相对应的位移阈值,各检测点在相邻两视频帧中的位移大于其所对应的预设位移阈值,则判定该检测点发生移动,否则判定该检测点未发生移动,属于同一部位的至少三个检测点位移发生移动时,判定该人体部位发生移动;
S6.基于已知预设分类的目标人体睡眠状态标签,以各预设周期中人体部位移动检测模块输出的各人体部位的移动持续时间、各人体部位发生移动的次数为输入,以预设周期中目标人体睡眠状态标签为输出,构建睡眠状态检测模块;
其中,针对各预设周期,基于各人体部位的移动持续时间,预设与其相对应的时间阈值,基于各人体部位发生移动的次数,预设与其相对应的次数阈值;发生移动的各人体部位的移动持续时间大于时间阈值,或者各人体部位发生移动的次数大于次数阈值,则睡眠状态检测模块输出的目标人体睡眠状态标签为不适,否则为舒适;
S7.基于视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块,以实时采集的目标人体的各人体部位的视频为输入,以预设周期中目标人体睡眠状态标签为输出,构建人体睡眠状态检测模型。
2.如权利要求1所述的一种人体睡眠状态检测方法,其特征在于,步骤S2中将实时采集的目标人体的各人体部位视频转化为视频帧序列的具体步骤如下:S21.针对实时采集的目标人体的各人体部位的视频,预设光照强度阈值,光照强度大于或等于预设光照强度阈值的视频为日间视频,光照强度小于预设光照强度阈值的视频为夜间视频;日间视频所对应的各视频帧为RGB格式,夜间视频所对应的各视频帧为NIR格式;
S22.针对日间视频所对应的各视频帧,统计各视频帧红色通道中各个像素点的像素值及各个像素值出现的次数,以各个像素值为横坐标,以各个像素值出现的次数为纵坐标,构建分布函数 ,其中r为像素值;
针对预设NIR格式的图像,统计该图像中各个像素点的像素值及各个像素值出现的次数,以各个像素值为横坐标,以各个像素值出现的次数为纵坐标,构建分布函数 ,其中t为像素值;
S23.基于映射关系函数 ,将日间视频所对应的各视频帧的红色通道中各像素值r修改为预设NIR格式的图像的各像素值t,从而将日间视频所对应的、RGB格式的各视频帧转化为与其对应的NIR格式的视频帧;
S24.将转化后日间视频所对应的NIR格式的各视频帧与夜间视频所对应的各视频帧按时序排列,共同构成输入人体部位位置检测模块的视频帧序列;
所述预设NIR格式的图像为基于预设固定位置、采用NIR相机拍摄的目标人体各人体部位的NIR格式的照片,或者预设NIR格式的图像由目标人体夜间视频所对应的预设帧数的视频帧构成。
3.如权利要求1所述的一种人体睡眠状态检测方法,其特征在于,所述步骤S4中计算目标人体的身高参数的具体步骤如下:
S41.基于目标人体额头检测点的位置(x1,y1)、左脚底检测点的位置(x2,y2)、右脚底检测点的位置(x3,y3),根据下式分别计算目标人体额头检测点至左脚底检测点、右脚底检测点的直线距离h1、h2:
S42.基于额头检测点至左脚底检测点、右脚底检测点的直线距离h1、h2,计算其平均值作为目标人体的身高;
S43.基于目标人体的身高 ,根据下式获得目标人体的身高参数h:式中,c为预设缩放系数。
4.如权利要求1所述的一种人体睡眠状态检测方法,其特征在于,所述其他预设人体部位包括左臂、右臂、躯干、左腿、右腿。
5.一种人体睡眠状态检测装置,其特征在于,包括RGB‑NIR摄像头,以及分别与其连接的近红外光源、嵌入式人体睡眠状态检测设备;
其中,RGB‑NIR摄像头用于实时采集目标人体各人体部位的视频,近红外光源用于在夜间为RGB‑NIR摄像头提供照明,嵌入式人体睡眠状态检测设备包括视频帧转化模块、人体部位位置检测模块、人体身高参数计算模块、人体部位移动检测模块、睡眠状态检测模块,使得所述嵌入式人体睡眠状态检测设备实现如权利要求1‑4中任一项所述的一种人体睡眠状态检测方法。