欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022113020760
申请人: 芽米科技(广州)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于自监督的小样本面部表情识别方法,其特征在于,包括:

构建无标签人脸数据图像集、实验室采集的面部表情图像集以及自然环境采集的面部表情图像集;

针对无标签人脸表情图像,对每个原始图像进行四种方式的变换构成四个前置任务,通过ViT模型解决前置任务产生四组损失函数;

从实验室面部表情图像中获取表情序列和峰值表情图像进行时间特征和空间特征的提取,将时间特征和空间特征进行融合得到时空特征进行表情分类,在此过程中对ViT模型的所有参数进行微调;

将自然环境面部表情图像划分支持样本和查询样本,将支持样本和查询样本分别输入至微调后的ViT模型中计算输出特征向量,基于支持样本的特征向量计算每个表情类别的原型向量,计算每个表情类别的原型向量和查询样本的特征向量之间的欧式距离,利用欧式距离确定查询集样本的表情分类结果。

2.如权利要求1所述的基于自监督的小样本面部表情识别方法,其特征在于,所述构建构建无标签人脸数据图像集、实验室采集的面部表情图像集以及自然环境采集的面部表情图像集的步骤包括:获取无标签人脸数据集、自然环境下采集的FER数据集以及实验室采集的FER数据集,提取各个数据集中的图像进行预处理,所述无标签人脸数据集以及自然环境下采集的FER数据集中的每张图像进行人脸裁剪操作,所述实验室采集的FER数据集中的每张图像进行人脸裁剪和数据增强操作,将预处理操作后的图像构建无标签人脸数据图像集、实验室采集的面部表情图像集以及自然环境采集的面部表情图像集。

3.如权利要求1所述的基于自监督的小样本面部表情识别方法,其特征在于,所述对于预处理后的无标签人脸数据集,构造图像去噪重建、旋转角度预测、图像分块拼图和遮挡图像还原四个前置任务,利用一种自适应加权损失函数整合四个前置任务的损失,优化并更新ViT模型参数,具体为:对每个原始图像进行四种方式的变换处理,以构造图像去噪重建、旋转角度预测、图像分块拼图和遮挡图像还原四个前置任务;使用ViT模型同时解决四个前置任务并产生四组损失 和 利用自适应加权损失函数整合四个前置任务的损失,得到自监督预训练阶段总的损失函数 计算并优化损失函数 更新ViT模型参数。

4.如权利要求1所述的基于自监督的小样本面部表情识别方法,其特征在于,所述对于预处理后的实验室采集的FER数据集,使用预训练的ViT模型提取图像的时空特征,使用时空特征计算表情分类结果,对预训练ViT模型的所有参数进行微调,具体为:从每条表情序列中选出峰值表情图像组成峰值表情图像集;将表情序列和峰值表情图像同时送入预训练的ViT中提取时间特征和空间特征,对二者进行融合得到时空特征;将时空特征送入分类层计算表情分类结果并产生损失函数 计算并优化损失函数 在此过程中对ViT模型的所有参数进行微调。

5.如权利要求1所述的基于自监督的小样本面部表情识别方法,其特征在于,所述预处理后的自然环境采集的面部表情数据集,划分支持集和查询集,使用微调后的ViT模型提取支持集和查询集样本的特征,基于支持集样本的特征构建原型网络,使用原型网络计算小样本人脸表情分类结果,具体为:将自然环境采集的FER数据集划分训练集和测试集,并利用训练集和测试集构建小样本分类场景,其中每个场景包含一个支持集和查询集;对于查询集,使用微调后的ViT编码器提取查询集中所有样本的特征;对于支持集,微调后的ViT编码器将其中所有属于同一类别的样本映射到同一个嵌入空间,计算平均向量得到类别原型;计算查询集样本到每个查询集类别原型的欧式距离,然后进行归一化操作得到小样本表情分类概率,产生损失函数优化损失函数 在优化损失函数过程中仅对ViT模型的最后一层参数更新。

6.如权利要求3所述的基于自监督的小样本面部表情识别方法,其特征在于,所述遮挡图像还原任务是训练模型捕捉面部表情的高级语义特征和上下文特征,包括:首先,对于原始人脸图像,将其切分成N个图像块构成一个图像块序列;从中按照75%的采样率随机采样图像块,标记它们在原始序列中的位置,并抹去它们的像素值,得到遮挡图像块集合和未被遮挡图像块集合;将两个非对称ViT模块设计为编码器和解码器,ViT编码器负责提取未被遮挡的图像块的特征,而解码器负责重建被遮挡的图像块的像素,将输出重构成被遮挡的图像块。

7.如权利要求2所述的基于自监督的小样本面部表情识别方法,其特征在于,所述数据增强的方式为将每张训练图像按照{‑15°,‑10°,‑5°,0°,15°,10°,15°}的角度旋转,并将旋转后的图像在X轴上翻转,以此将数据集扩充14倍。

8.基于自监督的小样本面部表情识别系统,其特征在于,包括:

数据预处理模块,被配置为构建无标签人脸数据图像集、实验室采集的面部表情图像集以及自然环境采集的面部表情图像集;

自监督预训练模块,被配置为针对无标签人脸表情图像,对每个原始图像进行四个前置任务,通过ViT模型产生四组损失函数;

参数微调模块,被配置为从实验室面部表情图像中获取表情序列和峰值表情图像进行时间特征和空间特征的提取,将时间特征和空间特征进行融合得到时空特征进行表情分类,同时对ViT模型的所有参数进行微调;

小样本表情分类模块,被配置为将自然环境面部表情图像划分支持样本和查询样本,将支持样本和查询样本分别输入至微调后的ViT模型中计算输出特征向量,基于支持样本的特征向量计算每个表情类别的原型向量,计算每个表情类别的原型向量和查询样本的特征向量之间的欧式距离,利用欧式距离确定查询集样本的表情分类结果。

9.一种计算机可读存储介质,其特征在于,其中存储有多条指令,所述指令适于由终端设备的处理器加载并执行权利要求1‑7中任一项所述的基于自监督的小样本面部表情识别方法。

10.一种终端设备,其特征在于,包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行如权利要求1‑7中任一项所述的基于自监督的小样本面部表情识别方法。