欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202310634726X
申请人: 南京林业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于局部特征和全局特征的表情识别方法,其特征在于,包括:步骤1:获取人脸表情图像数据集;

步骤2:构建基于局部特征和全局特征的人脸表情识别模型,基于局部特征和全局特征的人脸表情识别模型包括多尺度局部特征提取融合网络以及vit网络;

步骤3:采用步骤1中的人脸表情图像数据集训练人脸表情识别模型;

步骤4:基于训练好的人脸表情识别模型获取待测的人脸表情图像的表情识别结果;

所述的步骤2包括:

搭建基于残差块和注意力机制的多尺度局部特征提取融合网络;

多尺度局部特征提取融合网络依次包括卷积块、多个残差块和后处理块;经卷积块操作后的特征图输送至残差块,经某一残差块处理后的特征图与经该残差块处理前的特征图相加后输送至下一个残差块,经最后一个残差块处理后的特征图与经该残差块处理前的特征图相加后输送至后处理块;

所述卷积块依次包括卷积层、批次归一化层、ReLu激活层和最大池化层;

所述残差块包括跨分支残差块和混合注意力特征融合模块;

所述后处理块包括双线性插值层、卷积层、批次归一化层和LeakyReLu激活层;

所述的跨分支残差块的计算过程为:

特征图X通过1×1卷积操作后分为子特征图X1、子特征图X2、子特征图X3和子特征图X4,子特征图X1经过1×1卷积操作后得到第一个分支输出Y1,子特征图X2和输出Y1相加后经过3×3卷积操作后得到第二个分支输出Y2,子特征图X3、输出Y1和输出Y2相加后经过5×5卷积操作后得到第三个分支输出Y3,子特征图X4、输出Y1、输出Y2和输出Y3相加后经过7×7卷积操作后得到第四个分支输出Y4,将输出Y1、输出Y2、输出Y3和输出Y4经过1×1卷积操作后拼接为输出Z,输出Z与特征图X相加后作为跨分支残差块的输出;

所述的混合注意力特征融合模块的计算过程为:

将特征图N分别输入空间域注意力模块和通道域注意力模块,将得到的结果逐点相乘后,经过sigmoid激活函数后,与特征图N相乘,得到混合注意力特征融合模块的输出M;

公式如下:

其中SA(N)表示将特征图N输入空间域注意力模块的输出结果,CA(N)表示将特征图N输入通道域注意力模块的输出结果,σ(·)表示Sigmoid激活, 表示逐点相乘;

通道域注意力模块的计算过程为:

CA(N)=σ(f(GMp(N))+f(GAp(N)));

其中,GMp(N)表示对特征图N进行全局最大池化,GAp(N)表示对特征图N进行全局平均池化,f(·)表示1d卷积;

空间域注意力模块的计算过程为:

7×7

SA(N)=σ(f ([AvgPool(N);MaxPool(N)]));

其中,AvgPool(N)表示对特征图N在通道维度上进行平均池化,MaxPool(N)表示对特征图N在通道维度上进行最大池化,[AvgPool(N);MaxPool(N)]表示将AvgPool(N)产生的特征

7×7

图与MaxPool(N)产生的特征图进行拼接,f 表示7×7卷积层。

2.根据权利要求1所述的基于局部特征和全局特征的表情识别方法,其特征在于,所述的步骤1具体为:获取多张人脸表情图像,并标注出每张人脸表情图像的表情类别,将人脸表情图像以及其对应的表情类别作为初始人脸表情图像数据集;

对初始人脸表情图像数据集分别进行数据增强,获得增强后的人脸表情图像数据集。

3.根据权利要求1所述的基于局部特征和全局特征的表情识别方法,其特征在于,所述的步骤2还包括:搭建vit网络,vit网络包括图像嵌入模块、类别嵌入模块、6个Transformer编码器和多层感知机分类层。

4.根据权利要求1所述的基于局部特征和全局特征的表情识别方法,其特征在于,所述的步骤3包括:将人脸表情图像数据集按照4:1的比例划分训练集和测试集;

利用训练集先对多尺度局部特征提取融合网络进行训练,训练完毕后将多尺度局部特征提取融合网络内的权重参数冻结,与vit网络级联组成完整的基于局部特征和全局特征的人脸表情识别模型后,再对人脸表情识别模型内vit网络进行训练。