1.一种基于频域特征知识蒸馏的低分辨率人脸识别方法,其特征在于,包括以下步骤:S100:对原始高分辨率人脸图像数据集进行下采样,生成对应的低分辨率数据集;
S200:构建教师模型与学生模型,两者均采用相同的FRENet频域网络结构,FRENet由N个级联的FREblock频域模块组成,每个FREblock包含空间域分支和频域分支;
S300:先通过单层卷积提取原始输入图像的浅层特征,空间域分支提取浅层特征的空间特征,频域分支通过离散小波变换将浅层特征分解为高频子带和低频子带,对高频子带和低频子带分别进行处理后融合为频域特征,将空间特征与频域特征融合后,与原始输入特征残差连接,作为下一FREblock的输入特征;S300中对低频子带进行处理,包括:对于低频子带LL,先通过FFT快速傅里叶变换变换到频域空间,针对一个输入图像,FFT操作在数学上表示为:;
其中,表示频域中第c个通道、频率 处的二维离散傅里叶变换结果;c表示通道索引,和分别表示空间域图像的高度和宽度;表示空间域中第c个通道、位置处的像素值,和是空间域像素坐标,分别为垂直方向像素索引和水平方向像素索引,和为频域频率分量索引,分别为垂直方向频率索引和水平方向频率索引,为复指数函数;
对于得到的频域特征,应用一个可学习的滤波器对不同的分量进行加权,调整不同信息的重要性;假设输入特征通道数为,输出通道数量为,全局滤波器采用数量的滤波核对输入特征进行处理,在数学上表示为:;
其中,表示输入频域特征张量,表示可学习滤波器组,表示输出频域特征张量;
得到的滤波后的特征通过IFFT快速傅里叶反变换再变换回空间域中,IFFT操作在数学上表示为:;
;
其中,表示滤波处理后的频域特征,表示经IFFT变换后输出的空间域特征,为傅里叶逆变换的复指数基函数,为通道拼接操作,为各个通道经IFFT变换后的空间域特征图,为拼接后得到的最终低频特征;
S400:使用高分辨率人脸数据集训练教师模型,计算ArcFace分类损失作为分类监督;
S500:使用低分辨率人脸数据集训练学生模型,计算ArcFace损失作为分类监督,计算教师模型与学生模型在各FREblock输出的频域特征间的余弦相似度作为频域特征损失,计算教师模型与学生模型输出概率之间的KL散度作为知识蒸馏损失;
S600:联合优化频域特征损失、ArcFace及知识蒸馏损失,得到最终的学生模型,基于最终的学生模型完成低分辨率人脸识别。
2.根据权利要求1所述的方法,其特征在于,S300中频域分支通过离散小波变换将浅层特征分解为高频子带和低频子带,具体为:采用DWT离散小波变换将浅层特征分解为不同频率子带,包括HH高频-高频子带、HL高频-低频子带、LH低频-高频子带和LL低频-低频子带,具体为:;
其中,为高频子带,为低频子带,为浅层特征。
3.根据权利要求2所述的方法,其特征在于,S300中对高频子带进行处理,包括:在高频子带中,先将三个高频部分HH、HL和LH进行拼接,经过归一化操作后,再通过一个BasicBlock残差模块进行特征的重新融合与加权,并调整通道数量,得到高频特征,具体为:;
其中,表示通道拼接操作,表示归一化操作。
4.根据权利要求3所述的方法,其特征在于,S300中将高频与低频处理结果融合为频域特征,具体为:高频输出分支和低频输出分支经过Fusionblock融合模块进行融合,Fusionblock包括两个Convblock卷积块,最终的融合过程表示为:;
其中,为高频特征,为低频特征,为频域特征,为空间特征,为FREblock的融合输出特征,表示激活函数,表示卷积层。
5.根据权利要求4所述的方法,其特征在于,S300中将空间特征与频域特征融合后,与原始输入特征残差连接,作为下一FREblock的原始输入特征,具体为:;
其中,为下一FREblock的原始输入特征,为原始输入特征。
6.根据权利要求5所述的方法,其特征在于,S400中教师模型训练采用ArcFace作为分类损失,具体为:;
其中,为缩放因子,为边缘阈值,表示样本与真实类中心的夹角,表示样本与第j个类中的夹角。
7.根据权利要求6所述的方法,其特征在于,S500中频域特征损失的计算方式为:假设教师模型第n个FREblock阶段的频域特征表示为,学生模型该阶段的输出表示为,对于第n个FREblock,频域特征损失表示为教师模型与学生模型的频域特征向量的余弦相似度,具体为:;
总体的频域特征损失表示为:
;
其中,N为FREblock的总数量;
S500中知识蒸馏损失采用温度系数T软化的KL散度,具体为:;
其中T表示知识蒸馏损失的温度系数,用于软化概率分布,为教师模型的软化后概率分布,为学生模型的软化后概率分布,为教师模型在第i个类别上的软化概率值,为学生模型在第i个类别上的软化概率值。
8.根据权利要求7所述的方法,其特征在于,S600中联合优化频域特征损失、ArcFace分类损失及知识蒸馏损失,具体为:;
其中,表示分类损失整体的整体权重。
9.一种执行如权利要求1至8任一项所述方法的基于频域特征知识蒸馏的低分辨率人脸识别系统,其特征在于,包括:下采样模块,用于对原始高分辨率人脸图像数据集进行下采样,生成对应的低分辨率数据集;
模型构建模块,用于构建教师模型与学生模型,两者均采用相同的FRENet频域网络结构,FRENet由N个级联的FREblock频域模块组成,每个FREblock包含空间域分支和频域分支;
空间特征和频域特征提取模块,先通过单层卷积提取原始输入图像的浅层特征,空间域分支提取浅层特征的空间特征,频域分支通过离散小波变换将浅层特征分解为高频子带和低频子带,对高频子带和低频子带分别进行处理后融合为频域特征,将空间特征与频域特征融合后,与原始输入特征残差连接,作为下一FREblock的原始输入特征;
教师模型训练模块,用于使用高分辨率人脸数据集训练教师模型,计算ArcFace损失作为分类监督;
学生模型训练与蒸馏模块,用于使用低分辨率人脸数据集训练学生模型,计算ArcFace损失作为分类监督,计算教师模型与学生模型在各FREblock输出的频域特征间的余弦相似度作为频域特征损失,计算教师模型与学生模型输出概率之间的KL散度作为知识蒸馏损失;
最终联合优化模块,用于联合优化频域特征损失、ArcFace分类损失及知识蒸馏损失,得到最终的学生模型,基于最终的学生模型完成低分辨率人脸识别。