欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023100586727
申请人: 广州星数云科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于频域特征的微表情识别方法,其特征在于,包括步骤:步骤S1:提取微表情序列中的起始帧和顶点帧,记顶点帧为选定帧;

步骤S2:根据微表情序列的起始帧和选定帧计算稠密光流序列;

步骤S3:对稠密光流序列中的光流图像进行预处理;

步骤S4:将预处理后的光流图像作为输入,训练PDTNet模型;

步骤S5:输入待测试图像到训练完成的PDTNet模型中,获得微表情识别结果。

2.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S1中,还包括步骤:提取微表情序列中顶点帧两侧预设帧数范围内的图像帧,记为选定帧。

3.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S2中,所述光流序列的计算包括步骤:使用Gunnar Farneback方法进行计算,得到全局的稠密光流序列。

4.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S3中,所述对稠密光流序列中的光流图像进行预处理包括步骤:统一光流图像的尺寸大小;

对光流图像进行随机弧度旋转;

对图像进行随机水平翻转;

调整光流图像大小,并根据预设网络训练光流图像。

5.如权利要求1所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4中,所述将预处理后的光流图像作为输入,训练PDTNet模型包括步骤:步骤S4.1:构建PDTNet模型并初始化;

步骤S4.2:将光流图像分成n个tokens,记作光流图像X=[x1,x2,...,xn],xn为第n个token;

步骤S4.3:提取光流图像的振幅特征|X|和相位特征θ;

步骤S4.4:融合振幅特征|X|和相位特征θ得到融合特征Z;

步骤S4.5:将融合特征Z与光流图像的原始图片相加,获得新的融合特征,利用PDT模块进一步提取特征获得分类特征,并对分类特征进行分类获得对应的预测标签;

步骤S4.6:对光流图像进行多轮分类训练,获得训练完成的PDTNet模型。

6.如权利要求5所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4.3中,所述提取光流图像的相位特征θ包括步骤:将光流图像X分别经过参数矩阵Wq、Wk和Wv卷积,得到对应的q、k和v三个向量;

对q乘以k的结果经转置函数转置后再加上正余弦位置编码,得到相似性分数a_s;

将相似性分数a_s经过softmax计算,得到归一化的相似性比值a_r;

对相似性比值a_r乘以v得到相位特征θ。

7.如权利要求5所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4.4中,所述融合振幅特征|X|和相位特征θ得到融合特征Z包括步骤:根据预设的融合特征公式计算光流图像中token的融合特征zj;

集合每个token的融合特征zj构成光流图像相位和幅度的融合特征Z。

8.如权利要求7所述的一种基于频域特征的微表情识别方法,其特征在于,预设的所述融合特征公式为:zj=|xj|⊙cosθj+|xj|⊙isinθj,j∈(1,2,...,n.),其中,i是虚数单位,|·|是绝对值运算,⊙是逐元素乘法,|xj|和θj分别表示第j个token的振幅特征和相位特征。

9.如权利要求5所述的一种基于频域特征的微表情识别方法,其特征在于,步骤S4.5中,所述获得新的融合特征,利用PDT模块进一步提取特征获得分类特征,并对分类特征进行分类获得对应的预测标签包括步骤:新的融合特征依序经过第一个ResNet模块、第二个ResNet模块和ViT Transformer模块进行卷积和池化后得到分类特征;

输入分类特征到MLP层模块进行分类,获得分类特征的预测标签。