1.一种基于频域特征的微表情识别方法,其特征在于,包括步骤:步骤S1:提取微表情序列中的起始帧和顶点帧,记顶点帧为选定帧;
步骤S2:根据微表情序列的起始帧和选定帧计算稠密光流序列;
步骤S3:对稠密光流序列中的光流图像进行预处理;
步骤S4:将预处理后的光流图像作为输入,训练PDTNet模型;
步骤S5:输入待测试图像到训练完成的PDTNet模型中,获得微表情识别结果。
2.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S1中,还包括步骤:提取微表情序列中顶点帧两侧预设帧数范围内的图像帧,记为选定帧。
3.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S2中,所述光流序列的计算包括步骤:使用Gunnar Farneback方法进行计算,得到全局的稠密光流序列。
4.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S3中,所述对稠密光流序列中的光流图像进行预处理包括步骤:统一光流图像的尺寸大小;
对光流图像进行随机弧度旋转;
对图像进行随机水平翻转;
调整光流图像大小,并根据预设网络训练光流图像。
5.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4中,所述将预处理后的光流图像作为输入,训练PDTNet模型包括步骤:步骤S4.1:构建PDTNet模型并初始化;
步骤S4.2:将光流图像分成n个tokens,记作光流图像X=[x1,x2,...,xn],xn为第n个token;
步骤S4.3:提取光流图像的振幅特征|X|和相位特征θ;
步骤S4.4:融合振幅特征|X|和相位特征θ得到融合特征Z;
步骤S4.5:将融合特征Z与光流图像的原始图片相加,获得新的融合特征,利用PDT模块进一步提取特征获得分类特征,并对分类特征进行分类获得对应的预测标签;
步骤S4.6:对光流图像进行多轮分类训练,获得训练完成的PDTNet模型。
6.如权利要求5所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4.3中,所述提取光流图像的相位特征θ包括步骤:将光流图像X分别经过参数矩阵Wq、Wk和Wv卷积,得到对应的q、k和v三个向量;
对q乘以k的结果经转置函数转置后再加上正余弦位置编码,得到相似性分数a_s;
将相似性分数a_s经过softmax计算,得到归一化的相似性比值a_r;
对相似性比值a_r乘以v得到相位特征θ。
7.如权利要求5所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4.4中,所述融合振幅特征|X|和相位特征θ得到融合特征Z包括步骤:根据预设的融合特征公式计算光流图像中token的融合特征zj;
集合每个token的融合特征zj构成光流图像相位和幅度的融合特征Z。
8.如权利要求7所述的一种基于频域特征的微表情识别方法,其特征在于,预设的所述融合特征公式为:zj=|xj|⊙cosθj+|xj|⊙isinθj,j∈(1,2,...,n.),其中,i是虚数单位,|·|是绝对值运算,⊙是逐元素乘法,|xj|和θj分别表示第j个token的振幅特征和相位特征。
9.如权利要求5所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4.5中,所述获得新的融合特征,利用PDT模块进一步提取特征获得分类特征,并对分类特征进行分类获得对应的预测标签包括步骤:新的融合特征依序经过第一个ResNet模块、第二个ResNet模块和ViT Transformer模块进行卷积和池化后得到分类特征;
输入分类特征到MLP层模块进行分类,获得分类特征的预测标签。