欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022100272496
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于人脸视频的心率估计方法,通过对人脸视频的分析以估计心率值,其特征在于,包括以下步骤:

步骤1、对所述人脸视频进行预处理得到视频数据集,并将所述视频数据集分为训练集、验证集和测试集;

步骤2、构建融合网络,所述融合网络包括ResNet网络和ConvLSTM网络,所述ResNet网络包括瓶颈残差模块,以提高所述ResNet网络的性能;

步骤3、将所述训练集输入所述融合网络并进行训练,得到网络训练模型;

步骤4、将所述验证集输入所述网络训练模型进行验证,并通过损失函数计算损失,若损失不在误差范围内,则修改所述网络训练模型并返回步骤3;若损失在误差范围内,则得到最终网络训练模型;

步骤5、将所述测试集输入所述最终网络训练模型,得到心率估计值;

步骤6、跨数据集测试,以提高所述最终网络训练模型的精度以及所述心率预估值的准确度。

2.根据权利要求1所述的基于人脸视频的心率估计方法,其特征在于:步骤1中预处理包括对所述人脸视频进行分割和裁剪,通过所述人脸视频的颜色变化信息对所述人脸视频进行分割,以保留所述人脸视频中的面部区域;对分割完成的人脸视频进行裁剪,得到若干个帧数相同的视频片段。

3.根据权利要求2所述的基于人脸视频的心率估计方法,其特征在于:步骤1中预处理还包括计算所述视频片段的时空图,具体的:所述视频片段中不同帧之间的面部区域对齐,且将所述面部区域转化为YUV颜色空间,同时将所述面部区域划分为若干个ROI块,其中,第t帧第i个ROI块的平均颜色值为:其中,C(x,y,t)表示来自所述YUV颜色空间不同维度的第t帧处的(x,y)值,|ROIi|表示第i个ROI块的面积,串联同一位置但不同帧的ROI块的平均颜色值,以得到该位置的时间序列,对若干个所述时间序列进行排列,以得到所述时空图。

4.根据权利要求3所述的基于人脸视频的心率估计方法,其特征在于:所述YUV颜色空间变换具体为:

5.根据权利要求3所述的基于人脸视频的心率估计方法,其特征在于:对所述时间序列进行归一化处理,并将时间序列的值缩放为[0,255],所述训练集、验证集和测试集中均包括若干个所述时空图。

6.根据权利要求1所述的基于人脸视频的心率估计方法,其特征在于:步骤2中所述融合网络以ResNet网络为主干并在所述ResNet网络中融入ConvLSTM网络,所述ResNet网络包括最大池化层、模块层、全连接层和平均池化层,所述ConvLSTM网络设于所述模块层和全连接层之间,所述融合网络还包括设于所述ConvLSTM网络和全连接层之间的门控循环单元,所述模块层设有四个且均包括所述瓶颈残差模块。

7.根据权利要求6所述的基于人脸视频的心率估计方法,其特征在于:所述门控循环单元包括一个复位门和一个更新门,所述瓶颈残差模块包括三个卷积层,卷积核大小分别为1×1、3×3和1×1。

8.根据权利要求6所述的基于人脸视频的心率估计方法,其特征在于:所述ConvLSTM网络的计算公式为:

其中,*代表卷积操作;代表哈达玛运算;f为遗忘门;i为输入门;o为输出门,C为记忆单元,σ为sigmoid神经网络层,b为偏执项,t表示时刻,X为输入,W为权重,H为隐含层输入。

9.根据权利要求1所述的基于人脸视频的心率估计方法,其特征在于:步骤4中通过损失函数计算损失具体为:

在反向传播过程中,平滑损失Lsmooth相对于输入hrt的偏导数计算为:损失函数L为:L=Ll1+λLsmooth;

其中,hrt为心率估计值,hrm为T个连续测量的平均心率估计值,Lsmooth为平滑损失函数,sng(x)是符号函数,Ll1表示L1的损失函数,λ是平衡参数。

10.一种心率估计装置,其特征在于:包括相互耦接的存储器和处理器,所述存储器存储有程序指令,所述处理器执行所述程序指令以实现权利要求1‑9中任一项所述的基于人脸视频的心率估计方法。