1.一种轻量级实时心率监测模型,其特征在于,包括:
视频预处理模块,其用于对输入视频进行预处理,将所述输入视频中的面部进行检测和对齐,并对输入视频进行时空分块,获得标准化后的视频块;
轻量级双分支网络模块,其包括输入均为所述视频块的时空特征分支和运动补偿分支,以及特征融合单元,其中,所述时空特征分支包括多层可分离3D卷积,每层可分离3D卷积均用于对输入数据的每个通道分别进行深度卷积,再通过空间卷积将深度卷积的结果在通道维度上进行组合,获取所述视频块中的时空特征;所述运动补偿分支用于动态捕捉面部的运动信息,获取运动偏移场对所述视频块中的特征进行运动补偿;所述特征融合单元用于将所述时空特征分支和所述运动补偿分支的输出进行特征融合,得到用于心率预测的相关特征;
心率计算模块,其依据所述轻量级双分支网络模块输出的心率预测相关特征进行心率计算,输出预测心率;
多任务损失函数模块,其包括心率损失、噪声抑制损失和正则化损失,并依据所述心率损失、噪声抑制损失和正则化损失对模型进行优化。
2.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,所述视频预处理模块采用MTCNN算法对所述输入视频进行面部检测和对齐,并将面部区域裁剪为固定分辨率的感兴趣区域。
3.根据权利要求2所述的轻量级实时心率监测模型,其特征在于,所述视频预处理模块在获取感兴趣区域后,以时空分块的方式将所述输入视频分割为不重叠的T帧序列,并将每帧图像划分为N×N网格,以提取局部时空特征。
4.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,提取所述输入视频中的局部时空特征后,还包括对所述输入视频的RGB通道进行动态归一化处理,动态归一化处理的计算式为:;
其中,表示第t帧通道c归一化后的像素值,表示RGB通道中的任意通道,表示第t帧通道c的像素值,表示第t帧通道c的像素均值,表示第t帧通道c的像素标准差,为常数,用于防止在计算过程中出现除零错误。
5.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,所述时空特征分支包括4层可分离3D卷积,每层可分离3D卷积的核尺寸为3×3×3,步长为2×2×2,可分离3D卷积的操作为:;
其中,表示第层可分离3D卷积的输出结果,表示可分离3D卷积操作。
6.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,所述运动补偿分支包括至少两层可变形卷积,所述可变形卷积根据所述视频块自适应调整卷积核的采样位置,获取面部运动信息,每层可变形卷积的操作为:;
其中,表示可变形卷积的输出结果,表示输出的特征图上的位置,表示卷积核的固定位置,即在没有偏移的情况下,卷积核的第个采样点应该位于输入特征图上的坐标,表示在位置处学习到的相对于的偏移量,表示卷积核的权重,表示卷积核中采样点的总数,表示输入特征图,第一层可变形卷积输入的特征图为标准化后的视频块X,第二层可变形卷积输入的特征图为第一层可变形卷积的输出结果。
7.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,所述运动补偿分支采用光流估计获取运动偏移场,进而实现运动补偿。
8.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,所述特征融合单元将所述时空特征分支最终输出结果与所述运动补偿分支最终输出结果进行拼接,并通过1×1卷积进行降维处理,获得并输出用于心率预测相关特征。
9.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,所述心率计算模块依据所述轻量级双分支网络模块输出的心率预测相关特征获取初步心率预测值,并通过二阶巴特沃斯低通滤波器对初步心率预测值进行滤波,并对滤波后的信号进行峰值检测,根据相邻峰值之间的时间间隔计算心率,获得可读取和使用的预测心率。
10.根据权利要求1所述的轻量级实时心率监测模型,其特征在于,所述心率损失采用负Pearson相关系数来衡量最终预测心率与真实心率之间的相关性,所述心率损失的表达式为:;
其中,表示第个训练样本的真实心率,表示第个训练样本的预测心率,表示模型训练的样本数量,表示真实心率的平均值,表示预测心率的平均值;
所述噪声抑制损失的表达式为:
;
其中,表示预测心率在频率处的能量;
所述正则化损失采用L2正则化项,所述正则化损失的表达式为:
;
其中,表示正则化系数,表示模型的参数集合,表示模型中的任意参数。
11.一种心率监测方法,其特征在于,利用如权利要求1至10任意一所述的轻量级实时心率监测模型进行心率检测,获取预测心率。