欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108052179
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于增强自注意力Transformer的人脸表情识别方法,其特征在于:所述人脸表情识别方法包括如下步骤:步骤1、获取人脸表情训练数据集,并对所述人脸表情训练数据集进行预处理操作;

步骤2、建立由IR50卷积神经网络与增强自注意力Transformer组合而成的人脸表情识别网络模型;

步骤3、由IR50卷积神经网络进行初步特征提取,取中间阶段的特征进行拼接;

步骤4、将拼接的特征输入到增强自注意力Transformer中,依次进行相似特征融合,关键特征筛选;

步骤5、将增强自注意力Transformer执行完成后的结果输入到全连接层,最后使用分类器分类得出表情分类结果,其中:步骤4中,增强自注意力Transformer包括两个部分,每个部分均有4个block,第一部分为逐步特征融合,将内容相似度高的词符token融合,第二部分为逐步特征筛选,逐步将对于类别词符Class token相关度低的token丢弃,增强自注意力Transformer模型的两部分减少了token数量,加快推理速度。

2.根据权利要求1所述的一种基于增强自注意力Transformer的人脸表情识别方法,其特征在于:步骤1中,对人脸表情训练数据集进行预处理操作包括如下步骤:步骤1.1、将人脸表情训练数据集中的图像尺寸调整为112×112,并对所述人脸表情训练数据集进行数据增强操作;

步骤1.2、对增强后的图像进行归一化处理;

步骤1.3、将人脸表情训练数据集中的图像进行掩盖处理,执行掩盖操作的概率为0.7,掩盖方法为填充随机值。

3.根据权利要求2所述的一种基于增强自注意力Transformer的人脸表情识别方法,其特征在于:所述步骤1.1中数据增强操作具体为:人脸表情训练数据集中图像进行6°旋转和水平翻转,执行数据增强的概率为0.5。

4.根据权利要求1所述的一种基于增强自注意力Transformer的人脸表情识别方法,其特征在于:所述步骤3中的IR50卷积神经网络由四个阶段组成:第一阶段为浅层特征提取,其中包含卷积、归一化、激活函数;

第二阶段、第三阶段、第四阶段为多个残差块,对应的特征维度分别为64×56×56、128×28×28、256×14×14;

将第二阶段、第三阶段、第四阶段的特征进行拼接,其中,第二阶段、第三阶段经过下池化采样再与第四阶段在通道维度进行拼接,具体为:经过一个1×1卷积将通道从448拓展到768,随后使用Flatten降维与转置将通道768的特征维度调整到196×768。

5.根据权利要求1所述的一种基于增强自注意力Transformer的人脸表情识别方法,其特征在于:增强自注意力Transformer中,在第一部分引入特征融合模块,使用自注意力计算公式中的Q(query)、K(key)、V(value)中的K作为相似度的度量,K值计算公式如下:K=F×WK

其中,F为输入特征,WK为一个可学习参数矩阵,K中包含了每个token信息,通过计算K的点积,来量化token之间的相似性,然后将相似的token进行融合。

6.根据权利要求5所述的一种基于增强自注意力Transformer的人脸表情识别方法,其特征在于:将相似的token进行融合具体包括如下步骤:步骤4.1、将输入增强自注意力Transformer的所有token均分到两个集合A和B,其中奇数索引为A,偶数索引为B;

步骤4.2、对集合A中的每个token,在B中搜索与其最相似的token,使用对应的K值进行点积计算,得出相似度;

步骤4.3、保留相似度最高的r个组合,将r组中2r个token特征分别进行平均融合,得到r个融合后的token,其中r为超参数。

7.根据权利要求1所述的一种基于增强自注意力Transformer的人脸表情识别方法,其特征在于:在逐步特征筛选部分,引入特征选择模块,自注意力机制中,自注意力层通过Q(query)、K(key)与V(value)之间的交互实现信息的动态聚合,class token的自注意力计算公式为:其中,qc为class token对应的Q(query)查询向量,K对应每一个token的键值向量,V是每一个token对应的值向量,d为K的维度,上式输出是值向量V=[v1,v2,...,vn]T的线性组合,score是来自class token关于除class token外其余token的交互计算,vi来自第i个token,值scorei决定了第i个token的信息有多少通过线性组合被融合到class token的输出中,值scorei表示第i个token的重要性,将其表示为第i个token的重要性得分,对应的数学公式为:按照score从高到低,保留前N个token,并将剩余的token丢弃,丢弃的信息为干扰信息。