欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024114335593
申请人: 南昌大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合人脸表情与行为步态数据的帕金森智能评估方法,其特征在于,包括以下步骤:

S1、基于骨骼关键点的行为步态特征提取:

采用YOLOv8的追踪分割模型,对视频中的患者进行追踪,并用蒙版分割出只包含PD患者的行为步态的视频;YOLOv8分割检测任务包括分割相关的损失和通过继承了目标检测任务的分类损失,和矩形框回归损失,即CIoUloss和DFL;

S1.1、CIoU损失:采用WGAN-GP模型中的对抗损失来代替StarGAN模型中的原始对抗损失,对抗损失函数如下所示:其中IoU为预测边界框和真实边界框的交并比;ρ(b,bg)为预测边界框中心点和真实边界框中心点之间的欧氏距离;c为包围预测边界框b和真实边界框bg的最小矩形框的对角线长度;α为一个调节参数,用于平衡IoU损失和中心点距离损失的权重;v为长宽比损失,定义为:S1.2、DFL定义为:

其中和是模型预测的两个相邻离散点的概率分布,yi和yi+1是真实边界框的回归目标值,y是模型预测的边界框回归值;

S1.3、分类损失和分割损失:分类损失和分割损失都是用的是BCEWithLogitsLoss,分割损失主要是预测分割区域与ground truth分割区域进行逐像素的计算二元交叉熵损,BCEWithLogitsLoss定义为:lbn,c=-wbn,c[pcybn,c·log(σ(xbn,c))+(1-ybn,c)·log(1-σ(xbn,c))] (4)其中lbn,c是第b个批次、第n个样本、第c类的边界框分类损失(c>1表示多标签二元分类、c=1用于单标签二进制分类);pc是第c类的真实标签;ybn,c是第个b批次、第n个样本的第c类的真实标签,取值为0或1;xbn,c是模型输出的第个b批次、第个n样本、第c类的预测得分;logσ(xbn,c)是使用sigmoid函数将xbn,c预测得分转换为概率值;wbn,c是一个权重因子,用于控制不同类别或者不同样本的损失权重;

最后将上面的计算的四个loss进行加权求和,获得总损失lall,定义为:

lall=w1lCloU+w2lDFL+w3lclass+w4lseg       (5)其中lCloU为IoU loss,lDFL为DFL损失,lclass为分类损失,lseg为分割损失;

在获得了经过追踪分割提取后获得只包含帕金森病患者步视频片段的数据后,采用基于骨骼关键点的行为步态特征提取方法;第一部分是使用HRNet将视频片段提取为骨骼关键点数据,HRNet所使用的损失函数为MSE,MSE定义为:其中n是样本数量,yi是第i个样本的真实目标值,是第i个样本的预测值;并且使用OKS作为评估指标,OKS定义为:其中i表示第i个关键点,表示第i个关键点的预测坐标与真实坐标之间的欧氏距离,s表示图像的尺度,通常为人体的高度或宽度,表示第个关键点的scale-adaptive缩放因子,用于平衡不同关键点的重要性,vi表示第i个关键点的可见性标记;

第二部分是利用提取到的骨骼关键点通过效果优异的STGCN++网络进行特征提取;

S2、基于生成对抗网络合成面部表情并进行特征提取:

使用StyleGAN来合成PD患者在病前状态下的虚拟面部表情图像;

S2.1、StyleGAN生成潜向量:采用一个预训练的StyleGAN生成器与一个编码器网络组合;在训练过程中,编码器网络的参数通过一个精心设计的相似性损失函数进行微调,该损失函数是VGG-16感知损失和每像素均方误差MSE损失的加权组合,该损失函数的定义如下:其中c表示目标潜在向量,I0表示输入图像,G表示预训练的StyleGAN生成器,N表示图像像素的总数,λmse是一个权重超参数;感知损失Lpercept使用预训练的VGG网络来衡量原始图像I0和合成图像G(c)之间的感知差异;这个感知损失定义如下:其中Cj(·)表示VGG-16网络第j个卷积层的特征映射输出,k表示卷积层的总数,Nj表示第j个卷积层特征映射中的像素总数,λj是一个权重超参数;

S2.2、StyleGAN计算面部表情方向向量:获得共享一致身份信息但表现不同面部表情A和B的潜在向量;

随后,计算从表情A到表情B的过渡方向向量,具体而言,首先获得表情A和B的潜在向量集合,分别记为labelA和labelB,并分别给它们赋予标签latentA=0和latentB=1;然后构建映射函数其中视为从表情A到表情B的法向量,而项(1-2labelx)用于控制方向;

接下来,构建一个逻辑回归模型P=σ(f)来输出预测的类别标签概率,其值在[0,1]之间,并通过优化二元交叉熵(BCE)损失来确定能够操纵从A到B过渡的法向量这个为所需的方向向量nAB;

同样地,通过采用上述计算算法,获得多个面部表情状态之间的方向向量,从而能够在保留身份的前提下合成不同类型的面部表情;

S2.3、多表情合成与深度特征提取:根据步骤S2.2中描述的方法,可以成功地获得多个具有控制不同面部表情能力的方向向量;面部表情生成的过程可以形式化如下:其中Genc和Gdec分别表示G的编码器和解码器,I表示具有表情A的面部图像,I′表示同一个人具有表情B的图像,是从表情A到B的方向向量,λ控制表情变化的程度;

通过采用上述面部表情合成方法,能够从帕金森病患者单一中性面部表情图像中生成表示六种基本情绪的面部表情图像,捕捉到疾病发作前的表情;这些图像将作为对照组,用于构建增强的帕金森病面部表情训练数据集;随后,在这个扩展的训练数据集上使用深度学习模型来训练判别模型;最后,将模型作为特征提取器并以六张不同表情的人脸图像为输入,以训练好的表情分类器作为预训练模型,进行模型参数微调,得到面部表情的图像特征;

S3、多模态特征融合:

利用前两个步骤中找到的合适的步态视频数据处理方法和特征提取模型,以及面部表情特征提取模型,获取到步态特征和面部表情特征,为了便于后续的特征融合,通过两个全连接层,将步态特征和面部表情特征的维度统一到m维,具体方式如下:S3.1、特征级融合:在特征提取阶段,我们直接将m维的步态特征和m维的面部表情特征拼接成一个2*m维的高维特征向量,然后通过一个全连接层输出一个二维特征向量;

S3.2、决策级融合:我们将步态特征和面部表情特征分别通过加权平均等方式进行融合,分别给予两种模态w1和w2的权重,得到一个m维的融合特征向量;然后再通过一个全连接层输出一个二维特征向量;

S3.3、混合级融合:我们将两种模态特征分别输入全连接层,得到各自的分数;然后将这两个分数拼接成m+1维的融合特征,最后输入到同一个全连接层中进行模型训练,输出两个二维特征,并将其相加得到最终的结果;

最后使用迁移学习的方法,将两种模态的特征通过全连接层进行融合,最后输出一个由两个元素组成的向量,分别表示PD和非PD的概率。

2.根据权利要求1所述的一种融合人脸表情与行为步态数据的帕金森智能评估方法,其特征在于:步骤S1.3中,如果关键点可见则为1,否则为0,表示Kronecker delta函数,如vi>0则为1,否则为0;最终的OKS值在0到1之间,越接近1表示预测的关键点越接近真实关键点;这里使用的关键点为COCO17的标准。

3.根据权利要求1所述的一种融合人脸表情与行为步态数据的帕金森智能评估方法,其特征在于:步骤S2.2中,StyleGAN的另一个特点是使用了渐进层,层和分辨率越低,它所影响的特征就越粗糙;在潜空间中,每个潜向量都对应一个生成的人脸图像,通过在原有潜向量的基础上,沿着这些表情方向向量进行平移或叠加,可获得表情不同但身份相同的新潜向量。

4.根据权利要求1所述的一种融合人脸表情与行为步态数据的帕金森智能评估方法,其特征在于:步骤S2.2中,当x=A时,f中的项(1-2labelA)评估为1,计算得到的方向是相反,当x=B时,f中的项(1-2labelB)评估为-1,计算得到的方向是表示从表情B到表情A的相反方向。

5.根据权利要求1所述的一种融合人脸表情与行为步态数据的帕金森智能评估方法,其特征在于:六种基本情绪包括愤怒、厌恶、恐惧、悲伤、快乐和惊讶。