1.一种基于面部表情的帕金森疾病智能数据评估方法,其特征在于:包括以下步骤:
S1、基于StarGAN的人脸表情图像合成:
采用StarGAN模型来合成PD患者的正常面部表情图像,该模型由一个生成器和一个鉴别器组成;在训练阶段,通过公共数据集对模型进行训练,学习非帕金森病患者的基本表情特征;在测试阶段,将帕金森病患者的表情图像输入到模型中,生成6张帕金森患者的正常面部表情图像;StarGAN模型的总损失函数包括对抗损失、分类损失和重构损失;
1)对抗损失:采用WGAN‑GP模型中的对抗损失来代替StarGAN模型中的原始对抗损失,以获得更稳定的模型训练和更高的综合图像质量;对抗损失函数如下所示:其中G和D分别是StarGAN模型的生成器和鉴别器;x是原始图像,c是目标域标签;G(x,c)代表由G合成的以x和c为条件的图像,Dsrc(x)代表由D给出的源图像的概率分布;G旨在合成能够欺骗D的虚假图像,而D旨在区分虚假图像和真实图像; 代表梯度惩罚项,λgp是其加权超参数;是对原始图像和生成图像进行均匀采样的结果,‖·‖2代表L2范数;
2)分类损失:采用交叉熵损失来实现域分类;分类损失函数如下所示:
Lcls=Ex,c′[‑logDcls(c′|x)] (2)
其中c′表示x的域标签,Dcls(c′|x)对应于由D计算的域标签上的概率分布;
3)重构损失:在多域转换过程中,应用循环一致性损失来保存输入图像的身份信息;重构损失函数如下所示:其中,co表示原始域标签,‖·‖1表示L1范数;
基于上述等式(1)‑(3)的三个损失函数,StarGAN模型的最终损失函数如下所示:Ltotal=Ladv+λclsLcls+λrecLrec (4)
其中λcls和λrec是平衡分类损失和重构损失的两个超参数;
S2、高质量合成图像筛选:
通过FaceQnet模型来评估合成图像的图像质量,并筛选出高质量的图像;模型训练主要包括两个阶段,在第一阶段,获得每一张图像对应的质量分数;每个对象的质量分数最高的图像被定义为最高质量的参考图像;随后,将参考图像和同一对象的所有其他图像输入到在CASIA‑WebFace数据库上预训练的Facenet模型中学习和提取潜在特征,这些特征基于L2范数计算它们之间的相似度;最后,对相似度进行归一化,得到每幅训练图像的真实质量;在第二阶段,所有训练图像和其对应的真实质量被输入到预先训练好的ResNet模型中进行微调,在模型微调完成后,即可用于预测图像质量分数;
在基于FaceQnet模型获得每张合成表情图像的图像质量分数后,在每个表情类别中根据相应的图像质量分数从大到小对这些图像进行排序,计算每个表情类别中的所有合成图像的图像质量分数中位数,并筛选出图像质量分数超过中位数的高质量图像以扩充训练数据;
S3、深度特征提取学习:
将帕金森患者的原始训练数据与筛选出的相同帕金森患者的高质量合成面部表情图像和公共数据集中其他正常人的面部表情图像进行混合,对原始训练数据进行扩充;接下来,基于扩充后的训练数据集训练深度特征提取器,用于语义特征提取和面部表情识别;
S4、PD/非PD分类:
基于训练好的深度特征提取器,将每个人在6种基本不同表情下提取的面部表情图像特征进行拼接,然后训练分类器进行PD/非PD诊断;
对于分类器,利用深度特征提取器作为主干,并用新的6n×2全连接层代替原来的n×6最终全连接层来进行微调;具体的微调过程是:首先,将代表同一个人6种基本不同表情的面部表情图像输入到深度特征提取器中提取表情特征;其次,将6种面部表情特征在通道维度上连接起来,得到融合后的同一个人的面部表情特征;最后,基于上面得到的特征,冻结训练后的深度特征提取器的参数值,只更新最后修改的全连接层的参数值进行PD二分类训练;采用二元交叉熵损失函数来微调分类器,损失函数如下所示:其中yc和yp分别代表PD标签和被诊断为PD患者的预测可能性;在接收到潜在PD患者的6种基本表情的面部图像后,直接使用微调的二元分类器来进行PD/非PD分类。
2.根据权利要求1所述的一种基于面部表情的帕金森疾病智能数据评估方法,其特征在于:步骤S2中,将VGGFace2数据库中受试者的训练图像输入到国际民航组织评分系统,获得每一张图像对应的图像质量分数。
3.根据权利要求1所述的一种基于面部表情的帕金森疾病智能数据评估方法,其特征在于:步骤S2中,如果同一个人的六张表情图像中有一张是低质量图像,则去除掉该人的所有六张图像,以确保每个筛选的人经过筛选后都有完整的六张表情图像。
4.根据权利要求1所述的一种基于面部表情的帕金森疾病智能数据评估方法,其特征在于:步骤S3中,深度特征提取器为Transformer系列模型或ConvNext系列模型或EfficientV2系列模型。
5.根据权利要求1所述的一种基于面部表情的帕金森疾病智能数据评估方法,其特征在于:步骤S3中,选用Swin_Transformer_Base深度学习模型,该模型由一个PatchEmbedding层、四个Stage层和最后一层组成;首先,PatchEmbedding层由卷积层和LayerNorm层组成,用于相应地调整图像的宽度、高度和通道尺寸,其次,每个Stage层包括一个堆叠的Block层和一个PatchMerging层,最后一层由LayerNorm层、平均池化层和全连接层组成,采用交叉熵损失函数实现表情分类。
6.根据权利要求1所述的一种基于面部表情的帕金森疾病智能数据评估方法,其特征在于:步骤S4中,6种基本不同表情包括愤怒,厌恶,恐惧,快乐,悲伤和惊讶。
7.一种基于面部表情的帕金森疾病智能数据评估系统,其特征在于:该系统包括实现如权利要求1‑6任一项所述方法的控制器和终端设备。