1.一种基于信息差知识蒸馏的遮挡面部情绪识别方法,其特征在于:包括以下步骤:
步骤一、数据采集及预处理:通过RGB摄像机采集图像数据,通过目标检测网络检测图像中是否包含人脸信息,再经过人脸对齐网络提取出面部图像区域,将最终采集到的数据划分为训练集和测试集;将训练集中图像经过随机掩膜机制生成掩膜图像;
步骤二、最优模型训练:掩膜图像输入到学生模型,原始图像输入到教师模型,分别生成特征图并提取特征,采用类激活映射CAM方法将教师模型和学生模型提取出的特征图通道增加注意力,将教师模型学习过程蒸馏到学生模型当中,采用联合损失LJoint将学生模型学习到的知识反馈给教师模型,联合损失LJoint完成对教师模型和学生模型的优化,最终训练后的面部情绪识别模型仅包含学生模型;
步骤三、情绪识别:将待识别的面部图像输入到训练好的模型中,实现对面部情绪的识别;
在步骤二中,教师模型和学生模型采用卷积神经网络进行情绪特征的提取,使用最大池化层MaxPool降低特征图尺寸减少运算量;并采用了卷积层、批归一化层、池化层以及全连接层构建网络框架,将教师模型和学生模型分为3组,第1、2、3组卷积中的每层卷积分别有k、2k、22k个卷积核,以提取面部表情深层特征,紧接每组第二层均为批归一化层以加速模型收敛速度,然后每组第三层紧跟ReLU激活函数以防止梯度爆炸或梯度消失问题,且第
1、2组卷积的最后一层为C×C的最大池化层,减小模型复杂度,在第3组最后一层中添加自适应平均池化层,生成面部特征向量;
在步骤二中,先通过卷积层和归一化层实现教师模型和学生模型特征通道上的对齐,再采用类激活映射CAM方法,将特征图通道数从特征层面降低到类层面,采用的类激活映射CAM方法使用学生模型分类器的参数,控制蒸馏损失LDistill使得不影响到分类器的参数更新,控制蒸馏损失LDistill反向回传过程,不向教师模型传播。
2.根据权利要求1所述的一种基于信息差知识蒸馏的遮挡面部情绪识别方法,其特征在于:在步骤一中,提取面部图像区域采用关键点对齐网络,对所有提取出来的面部区域进行区域校正,使最终提取出来的面部区域都趋向于正面,并采用双线性插值法将图像统一放缩到224×224大小。
3.根据权利要求1所述的一种基于信息差知识蒸馏的遮挡面部情绪识别方法,其特征在于:在步骤一中,采用翻转、旋转、加入噪声和随机擦除的方法对采集到的图像进行数据增强,训练集和测试集比例为7:3。
4.根据权利要求1所述的一种基于信息差知识蒸馏的遮挡面部情绪识别方法,其特征在于:在步骤一中,随机掩膜机制包括随机擦除掩膜,统计区域掩膜和关键区域掩膜,在模型训练过程中随机使用。
5.根据权利要求1所述的一种基于信息差知识蒸馏的遮挡面部情绪识别方法,其特征在于:在步骤三中,利用RGB摄像机采集到的图像数据经过数据预处理筛选出其中无面部的图像并进行面部矫正,然后将处理好的面部图像输入到训练好的模型当中进行情绪特征的提取,通过分类器识别每个类别的概率,分类器使用全连接层和Softmax激活函数来实现,Softmax函数会将所有类的识别概率相和为1,最终预测概率最大的那一类即为面部情绪识别的结果。