1.一种基于空间注意力网络的人脸表情识别方法,其特征在于:所述方法具体过程为:步骤一、人脸图像预处理,获得人脸表情图像数据集;包括训练集和测试集;
步骤二、对步骤一中获得的人脸表情图像数据集进行特征提取,提取到的特征记为X;
步骤三、建立空间注意力模块,将步骤二提取到的特征X输入到空间注意力模块,得到训练好的网络模型;
步骤四、将步骤一中获得的人脸表情图像测试集输入训练好的网络模型,输出分类结果。
2.根据权利要求1所述的一种基于空间注意力网络的人脸表情识别方法,其特征在于:所述步骤一中人脸图像预处理,获得人脸表情图像数据集;具体过程为:步骤一一、人脸图像裁剪和缩放;过程为:
利用人脸检测算法对人脸库数据集中图像进行裁剪得到不含背景的人脸图像,将人脸图像放大到224×224大小,得到裁剪和缩放后的人脸表情图像数据集;
步骤一二、对步骤一一人脸图像裁剪和缩放后的训练集图像数据进行增强;过程为:对步骤一一得到的人脸图像裁剪和缩放后的训练集人脸表情图像通过归一化处理、中心随机裁剪、水平翻转、随机遮挡的方法进行图像数据增强,得到增强后的人脸表情图像数据集。
3.根据权利要求2所述的一种基于空间注意力网络的人脸表情识别方法,其特征在于:所述步骤二中对步骤一中获得的人脸表情图像数据集进行特征提取,提取到的特征记为X;
具体过程为:
将步骤一中获得的人脸表情图像数据集输入ResNet18残差网络中进行特征提取,提取到的特征记为X;
所述特征X的大小为512x7x7,512为特征X的通道数,第一个7为特征X的高度,第二个7为特征X的宽度。
4.根据权利要求3所述的一种基于空间注意力网络的人脸表情识别方法,其特征在于:所述步骤三中建立空间注意力网络模型,将步骤二提取到的特征X输入到空间注意力网络模型,输出分类结果;具体过程为:步骤三一、将步骤二提取到的特征X进行子像素卷积上采样,再通过最大池化层进行下采样,具体过程为:步骤三一一、将步骤二提取到的特征X中部分通道维度上相同位置的每个子特征点聚集在一起,映射到同一张特征图上,得到特征大小为32×(4×7)×(4×7),32为特征通道数,第一个4×7为特征高度,第二个4×7为特征宽度;
步骤三一二、将映射得到的特征图通过最大池化层进行下采样,最大池化层窗口大小为4x 4,最大池化层步长大小为4,即可得到与步骤二提取到的特征X尺寸相同的特征图M,特征图大小为32×7×7,32为特征图通道数,第一个7为特征图高度,第二个7为特征图宽度;
2
M=Maxpool2d(pixelshuffle(r))步骤三二、对特征图M分别进行全局均值池化和全局最大池化,过程为:步骤三二一、对特征图M进行全局均值池化,得到特征图F1,特征图F1的大小为1×7×7,
1为特征图F1通道数,第一个7为特征图F1高度,第二个7为特征图F1宽度;F1=AvgPool(M);
步骤三二二、对特征图M进行全局最大池化,得到特征图F2,特征图F2的大小为1×7×7,
1为特征图F2通道数,第一个7为特征图F2高度,第二个7为特征图F2宽度;F2=MaxPool(M);
步骤三三、将特征图F1和特征图F2在通道维度上进行拼接得到F,将F输入到卷积核大小为7×7的卷积层进行降维,输出特征图大小为1×7×7,1为特征图通道数,第一个7为特征图高度,第二个7为特征图宽度;
再将大小为1×7×7的特征图依次经过BN、Sigmoid函数得到特征图N;
F=[F1:F2]
N=σ(BN(conv(F)))
2
其中Pixelshuffle表示子像素卷积上采样,r 表示上采样因子;σ表示Sigmoid函数,Maxpool表示最大池化层,[F1:F2]表示将特征图F1和特征图F2在通道维度上进行拼接,conv表示卷积层;
步骤三四、将得到的特征图N与输入X进行逐个元素相乘,得到特征图Y,特征图Y大小为
512×7×7,512为特征图Y通道数,第一个7为特征图Y高度,第二个7为特征图Y宽度;
Y=X*N
其中,*表示逐元素相乘;
步骤三五、将特征图Y送入全局均值池化层,得到特征图大小为512×1×1,再对大小为
512×1×1的特征图进行展平送入全连接层进行降维,最后送入Softmax层得到分类结果y。
5.根据权利要求4所述的一种基于空间注意力网络的人脸表情识别方法,其特征在于:所述步骤三五中将特征图Y送入全局均值池化层,得到特征图大小为512×1×1,再对大小为512×1×1的特征图进行展平送入全连接层进行降维,最后送入Softmax层得到分类结果y;具体过程为:其中全连接层为:
FC=(512,num_class)
Softmax函数表达式为:
其中,num_class表示表情类别数目,m表示上一层的输出,c为上层输出神经元个数,yi表示输出的某一表情类别的概率,概率最大值表示此图像的表情类别;mi为第i个神经元的值,mj为第j个神经元的值,i表示表情类别数目,分别为开心、中性、悲伤、惊讶、恐惧、生气、厌恶、蔑视,共八类表情。