1.一种脸部微表情识别方法,其特征在于,包括以下步骤:获取脸部的源域宏表情视频序列及目标域微表情视频序列;
分别针对宏表情视频序列和微表情视频序列,提取视频序列的起始帧和峰值帧,并计算起始帧和峰值帧之间的运动矢量,以生成光流特征图;
将峰值帧进行空间降采样,并提取峰值帧内脸部的纹理特征,对纹理特征内包含的细节特征进行特征增强,得到128维的峰值帧特征向量;将光流特征图进行时间降采样,并提取光流特征图内脸部的运动特征,对运动特征内包含的眼部及嘴部运动特征区分并进行特征增强,得到128维的光流特征向量;
将峰值帧特征向量与光流特征向量拼接为256维的基准特征向量,以得到源域宏表情的基准特征向量和目标域微表情的基准特征向量;
将源域宏表情及目标域微表情基准特征向量的特征分布对齐,获得对齐后的目标域微表情基准特征向量;
获取对齐前后的目标域微表情基准特征向量间的马氏距离,将马氏距离度量映射为五类概率分布输出识别结果。
2.根据权利要求1所述的一种脸部微表情识别方法,其特征在于,所述光流特征图的获取,包括:在视频序列的起始帧和峰值帧获取后,选用TV-L1能量泛函进行光流估计,设u与v分别代表水平分量与垂直分量,表示为:;
其中:dx和dy分别表示沿x和y维度的像素变化;dt表示时间变化;
将光学应变表示为面部变形强度,通过计算光流的导数得到光学应变,表示为:;
其中:U=[u,v]T表示位移向量;
同时,光学应变也表示为:
;
其中:(,)表示法向应变分量;(,)表示剪切应变分量;
通过获取法向应变分量和剪切应变分量的平方和得到每个像素的光学应变大小,表示为:;
将u,v,这3个包含微表情的光流信息依次堆叠形成三通道模板图像X = {u,v,},X为光流特征图。
3.根据权利要求1所述的一种脸部微表情识别方法,其特征在于,所述得到128维的峰值帧特征向量,包括:构建包括空间分支和时间分支的时空特征融合网络模型;所述空间分支和时间分支均包括依次级联的7×7卷积层、批量归一化层BN、ReLU激活函数、单层MobileViT模块及BasicBottle残差块;
将峰值帧输入空间分支内,通过7×7卷积层、批量归一化层BN及ReLU激活函数对峰值帧进行空间降采样,将空间降采样后的峰值帧输入单层MobileViT模块,单层MobileViT模块通过3×3深度可分离卷积与4头自注意力机制提取脸部的纹理特征,空间注意力模块聚焦脸部眉毛及嘴角关键区域,两层BasicBottle残差块组对眉毛及嘴角关键区域的纹理特征进行增强,并将增强后的纹理特征展平后通过全连接层压缩为128维峰值帧特征向量。
4.根据权利要求3所述的一种脸部微表情识别方法,其特征在于,所述得到128维的光流特征向量,包括:将光流特征图输入时间分支内,通过7×7卷积层、批量归一化层BN及ReLU激活函数对光流特征图进行空间降采样,将空间降采样后的光流特征图输入单层MobileViT模块,单层MobileViT模块通过3×3深度可分离卷积与4头自注意力机制提取脸部的运动特征,通道注意力模块区分眼部与嘴部运动特征,两层BasicBottle残差块组对眼部与嘴部运动特征进行增强,并将增强后的运动特征展平后通过全连接层压缩为128维峰值帧特征向量。
5.根据权利要求4所述的一种脸部微表情识别方法,其特征在于,所述源域宏表情的基准特征向量和目标域微表情的基准特征向量获取后,还包括:基于马氏距离度量源域宏表情与目标域微表情中各类表情原型之间的距离,马氏距离度量表示为:;
其中:x和y表示样本点的特征向量,T表示转置操作;表示两个样本点x和y之间的差向量;表示第k类原型的协方差矩阵的逆矩阵;表示第k类原型的协方差矩阵,表示为:;
其中:表示第k类图像之间的协方差矩阵;表示所有类别的图像之间的协方差矩阵;是用来平衡和的权重系数,表示支持集中属于类别k的样本;I是单位矩阵;
使用支持集中的第k类数据集的嵌入特征生成,表示为:
;
其中:表示特征提取器;和分别表示支持集中第k类数据集的样本点和对应的标签;表示当前任务的第k类均值向量;
通过计算查询样本与各类别原型之间的马氏距离,并将其转换为类别预测概率;采用交叉熵损失函数对预测结果与真实标签之间的差异进行建模,并且引用数学期望来对多个任务求平均,则源域上的损失函数表示为:;
其中:{(,)}、分别表示源域上的支持集和查询集;表示查询集中样本的类分布;和分别表示查询集中的样本和标签;
目标域的训练过程与源域一致,区别在于将目标域数据集划分为带标记的训练集和未标记的测试集;目标域上的损失函数表示为:;
其中:{(,)}、分别表示目标域上的支持集和查询集;表示查询集中样本的类分布;和分别表示查询集中的样本和标签;
基于源域上的损失函数和目标域上的损失函数,分别对源域宏表情的基准特征向量和目标域微表情的基准特征向量进行特征分布紧密度增强。
6.根据权利要求5所述的一种脸部微表情识别方法,其特征在于,所述将源域宏表情及目标域微表情基准特征向量的特征分布对齐,包括:采用局部最大均值差异LMMD,度量增强特征分布紧密度后的源域宏表情及目标域微表情基准特征向量间的差异,其损失函数表示为:;
其中:H是一个再生核希尔伯特空间RKHS,是RKHS范数,用于衡量在高维特征空间中的距离;C表示源域与目标域共同包含的情绪类别数;和分别表示源域与目标域数据集;表示源域中第i个样本的特征向量;表示目标域中第j个样本的特征向量;和分别表示源域和目标域的类别权重;表示特征映射函数;
通过最小化损失函数,将源域宏表情及目标域微表情基准特征向量的同类特征分布进行对齐。