1.一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法,其特征在于,包括以下步骤:S1:准备训练数据,包括低分辨率人脸图像16×16像素ILR16,高分辨率人脸图像32×32像素IHR32、64×64像素IHR64、128×128像素IHR128;
S2:提出轻量级人脸超分辨率网络LFSRNet,LFSRNet网络由残差聚合模块RAB和三个上采样块组成,其中,三个上采样块由卷积和亚像素卷积构成,每个上采样块可以进行两倍的图像放大,并输出重建图像;
S3:将S1中的ILR16送入S2中的LFSRNet网络,分别经过RAB模块和第一个上采样块,前向推理得到两倍放大的超分辨率图像ISR32;
S4:根据以下损失函数,对网络进行反向传播,完成第一阶段网络参数的更新和优化;
其中N表示模型训练中一个批次中的数据量;
S5:将S1中的ILR16送入S2中的LFSRNet网络,分别经过RAB模块、第一个上采样块以及第二个上采样块,前向推理得到四倍放大的超分辨率图像ISR64;
S6:根据以下损失函数,对网络进行反向传播,完成第二阶段网络参数的更新和优化;
S7:将S1中的ILR16送入S2中的LFSRNet网络,分别经过RAB模块、第一个上采样块、第二个上采样块以及第三个上采样块,前向推理得到八倍放大的超分辨率图像ISR128;
S8:将S1中的IHR128送入一个人脸语义分割网络中,得到高分辨率人脸语义分割预测图PSegHR128,将PSegHR128进行数据处理得到高分辨率人脸语义分割图SegHR128;
S9:将S7中的ISR128送入S8中的人脸语义分割网络中,得到超分辨率人脸语义分割预测图PSegSR128;
S10:根据以下损失函数,对网络进行反向传播,完成第三阶段网络参数的更新和优化;
其中C表示人脸语义分割网络可以分割的种类数,α和β分别表示两种损失的权重;
S11:循环迭代S3至S10,将模型训练至收敛。
2.根据权利要求1所述的一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法,其特征在于,所述步骤S2中的人脸超分辨率网络LFSRNet是基于RFDN进行改进的,LFSRNet网络模型是一种轻量化模型,适用于超低分辨率的人脸图像输入,并可以输出三种不同放大倍数的高分辨率重建图像,包括残差聚合模块RAB和三个上采样块。
3.根据权利要求2所述的一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法,其特征在于,所述残差聚合模块RAB,由4个连续的残差特征蒸馏模块RFDB通过残差聚合的形式搭建而成:前后相连的RFDB进行残差学习,将4个RFDB的输出特征进行堆叠,最后将堆叠后的特征经过一个卷积进行特征融合并输出。
4.根据权利要求2所述的一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法,其特征在于,每个上采样块由卷积和亚像素卷积构成,每个上采样块可以进行两倍的图像放大,并输出重建图像,包括:
1)第一个上采样块依次由卷积、LeakyReLU、PixShuffle(2倍放大)、卷积组成;
2)第二个上采样块依次由卷积、卷积、LeakyReLU、PixShuffle2倍放大、卷积组成;
3)第三个上采样块依次由卷积、卷积、LeakyReLU、PixShuffle2倍放大、卷积组成。
5.根据权利要求1所述的一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法,其特征在于,所述步骤S3至S10为一种针对人脸超分辨率网络的渐进训练方法,这种训练方法使模型在一次迭代训练中分三阶段开展,包括:
1)所述步骤S3至S4为一次迭代训练中的第一个阶段,该阶段针对模型进行两倍超分辨率任务的训练;
2)所述步骤S5至S6为一次迭代训练中的第二个阶段,该阶段针对模型进行四倍超分辨率任务的训练;
3)所述步骤S7至S10为一次迭代训练中的第三个阶段,该阶段针对模型进行八倍超分辨率任务的训练。
6.根据权利要求1所述的一种基于渐进训练和人脸语义分割的人脸超分辨率重建方法,其特征在于,所述步骤S8至S10使用人脸语义分割网络模型获取人脸的先验信息,提出一种人脸分割损失,在一次迭代训练中的第三个阶段将人脸分割损失纳入总损失函数来更新网络参数,协助网络生成更加逼真的人脸结构。