1.一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于,其步骤为:
步骤1、获取人脸图像数据集,并将数据集中的图像进行预处理;
步骤2、构建一个基于潜在特征重构的结构重构器和掩模感知的纹理生成器用于网络模型训练;其中:结构重构器,首先经过3×3卷积层、归一化层和PReLU层,再使用50个相同的bottleneck模块,从第6层、第20层和第23层分别提取三个大小不同的特征图,分别记作c1,c2,c3;c2通过1×1卷积得到的特征图经过上采样后与c3相加得到p2,p2通过1×1卷积得到的特征图经过上采样后与c1相加得到p1;c3通过16个渐变样式模块生成样式特征向量0、样式特征向量1和样式特征向量2,p2通过32个渐变样式模块生成样式特征向量3、样式特征向量4、样式特征向量5和样式特征向量6,p1通过64个渐变样式模块生成样式特征向量7至样式特征向量17;最后,将生成的18个样式特征向量送到StyleGAN中,得到修复完成的粗糙图片;
纹理生成器分为三个模块,分别是:
纹理编码器,将带有掩码的粗糙恢复图像编码成特征图;
恢复解码器,用于细化特征图;
以及两个相同结构的细化解码器,用于继续将特征图细化,并将特征图解码回像素;
在纹理生成器中,一共7层网络,每层网络的处理操作相同,但部分卷积层卷积核的大小不同;在编码器中,先将掩模图片经过卷积层Conv1和Relu激活层,再经过3×3卷积层和1×1卷积层生成卷积核,用该卷积核对修复的粗糙图像进行卷积,再经过归一化层、ReLU激活函数层、3×3卷积层、1×1卷积层、ReLU激活函数层,得到特征图传入恢复解码器中;在恢复解码器中,首先经过转置卷积层Dconv、归一化层、LeakyReLU激活函数层,然后将其与上一层得到的特征图级联,级联之后经过5×5卷积层、3×3卷积层、LeakyReLU激活函数层,得到特征图;在细化解码器中,特征图通过转置卷积层、归一化层,得到的特征图记作f步骤3、依据步骤1预处理的数据集和步骤2构建的模型,调整模型参数,进行模型训练;
步骤4、将一幅缺损的人脸图像作为网络的输入,利用步骤3学习得到的参数得到一幅完整的人脸图像作为输出。
2.根据权利要求1所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:步骤1中图像进行预处理的过程为:采用计算机生成任意大小和形状的掩码,将所述掩码与训练集中的任一图像按像素相乘,得到破损的图像。
3.根据权利要求2所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:步骤2中网络训练的损失函数,在结构重构器中分为六种,分别是像素重建损失LL
在纹理生成器中损失函数分为五种,分别是感知损失L
L
4.根据权利要求3所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:在结构重构器中,bottleneck模块包含shortcut层和res层;shortcut层依次包含1×1卷积层、归一化层,res层依次包含归一化层、3×3卷积层、PReLU激活函数层、3×3卷积层、归一化层、池化层、1×1卷积层、ReLU激活函数层、1×1卷积层、sigmoid激活函数层;渐变样式模块依次包含3×3卷积层、LeakyReLU激活函数层。
5.根据权利要求4所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:在结构重构器中,p1的特征图数量为512,p2的特征图数量为512,c3的特征图数量是512,样式向量的特征图数量是18。
6.根据权利要求5所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:在纹理生成器中,第一层网络输出的特征图数量为3,第二层网络输出的特征图数量为64,第三层网络输出的特征图数量为128,第四层网络输出的特征图数量为256,第五层网络、第六层网络和第七层网络输出的特征图数量均为512。
7.根据权利要求6所述的一种基于潜在特征重构和掩模感知的人脸图像修复方法,其特征在于:采用Adam优化算法优化网络模型,使用学习率衰减策略,并通过最小化整体损失函数来进行优化,用公式表示如下:其中,N为步骤1所得训练集中样本数量,
在训练过程中,通过指定迭代次数来进行网络参数更新。