1.一种基于掩码自编码器的人脸图像恢复方法,其特征在于,所述方法包括:
步骤S1、采集伪造人脸图像,使用RetinaFace模型对所述伪造人脸图像进行裁剪,获取所述伪造人脸图像对应的源人脸图像和目标人脸图像;
步骤S2、提取所述源人脸图像的底纹特征与高层语义特征,对所述高层语义特征进行上采样后与所述底纹特征进行拼接,基于拼接后的特征图得到分割概率图;
步骤S3、将所述分割概率图与所述源人脸图像相乘后得到源人脸信息,基于所述源人脸信息对源人脸进行恢复重建,得到重建的源人脸;
步骤S4、对所述分割概率图进行分块并计算每一块分割概率图的均值,基于均值结果分配权重并计算权重,基于权重大小进行掩码,得到遮盖图像;
步骤S5、将所述重建的源人脸中的潜在目标人脸特征与所述遮盖图像输入所述掩码自编码器,得到伪造人脸图像的人脸图像恢复图像。
2.根据权利要求1所述的基于掩码自编码器的人脸图像恢复方法,其特征在于,所述步骤S2中,提取所述源人脸图像的底纹特征与高层语义特征,对所述高层语义特征进行上采样后与所述底纹特征进行拼接,基于拼接后的特征图得到分割概率图的过程具体包括:使用EfficientNet-B0提取底层纹理特征和高层语义特征;
使用转置卷积对所述高层语义特征进行上采样,将上采样后的高层语义特征与所述底层纹理特征进行拼接,将拼接后的特征输入转置卷积层生成分割概率图。
3.根据权利要求1所述的基于掩码自编码器的人脸图像恢复方法,其特征在于,所述步骤S3中,将所述分割概率图与所述源人脸图像相乘后得到源人脸信息,基于所述源人脸信息对源人脸进行恢复重建,得到重建的源人脸的过程具体包括:S31、基于所述分割概率图与所述源人脸图像相乘后得到源人脸信息,将所述源人脸信息通过4个卷积-池化层进行下采样,提取高层语义特征的特征图;
S32、将所述高层语义特征的特征图分割为源人脸特征与潜在目标人脸特征,使用转置卷积对所述源人脸特征进行上采样,利用卷积层对所述潜在目标人脸特征进行卷积,得到预设通道个数的特征图;
S33、利用残差连接将所述高层语义特征的特征图与所述预设通道个数的特征图进行拼接,使用卷积将拼接后的特征图恢复通道个数;
S34、将恢复通道个数的特征图重复4次S31-S33,恢复源人脸图像,基于所述源人脸图像与所述步骤S1中的源人脸图像计算身份损失和感知损失,得到重建的源人脸。
4.根据权利要求3所述的基于掩码自编码器的人脸图像恢复方法,其特征在于,所述步骤S4中,对所述分割概率图进行分块并计算每一块分割概率图的均值,基于均值结果分配权重并计算权重,基于权重大小进行掩码,得到遮盖图像具体包括:基于所述分割概率图计算掩码块序号,基于所述掩码块序号对所述伪造人脸进行分块,使用所述掩码块序号对分块后的伪造人脸进行遮盖,得到遮盖图像。
5.根据权利要求4所述的基于掩码自编码器的人脸图像恢复方法,其特征在于,所述步骤S5中,将所述重建的源人脸中的潜在目标人脸特征与所述遮盖图像输入所述掩码自编码器,得到伪造人脸图像的目标人脸图像恢复图像具体包括:基于所述重建的源人脸中的潜在目标人脸特征与所述遮盖图像中的未遮盖图像块输入到掩码自编码器中进行展平,合并成一个张量,将所述张量输入到全连接层,得到张量图像特征向量;
将所述张量图像特征向量输入到Transformer模块中,通过多头注意力机制计算图像全局特征;
对所述图像全局特征进行掩码块填充,将填充后的图像全局特征输入到解码器中进行恢复图像块内容的操作,得到伪造人脸图像的人脸图像恢复图像。
6.一种基于掩码自编码器的人脸图像恢复系统,所述系统用于实现权利要求1-4任一项所述的图像恢复方法,其特征在于,系统包括:图像裁剪模块、特征图拼接模块、源人脸恢复模块、图像掩码模块和自编码器恢复模块;
所述图像裁剪模块用于采集伪造人脸图像,使用RetinaFace模型对所述伪造人脸图像进行裁剪,获取所述伪造人脸图像对应的源人脸图像和目标人脸图像;
所述特征图拼接模块用于提取所述源人脸图像的底纹特征与高层语义特征,对所述高层语义特征进行上采样后与所述底纹特征进行拼接,基于拼接后的特征图得到分割概率图;
所述源人脸恢复模块用于将所述分割概率图与所述源人脸图像相乘后得到源人脸信息,基于所述源人脸信息对源人脸进行恢复重建,得到重建的源人脸;
所述图像掩码模块用于对所述分割概率图进行分块并计算每一块分割概率图的均值,基于均值结果分配权重并计算权重,基于权重大小进行掩码,得到遮盖图像;
所述自编码器恢复模块用于将所述重建的源人脸中的目标人脸特征与所述遮盖图像输入所述掩码自编码器,得到伪造人脸图像的人脸图像恢复图像。
7.根据权利要求6所述的基于掩码自编码器的人脸图像恢复系统,其特征在于,所述特征图拼接模块的工作流程具体包括:使用EfficientNet-B0提取底层纹理特征和高层语义特征;
使用转置卷积对所述高层语义特征进行上采样,将上采样后的高层语义特征与所述底层纹理特征进行拼接,将拼接后的特征输入转置卷积层生成分割概率图。
8.根据权利要求6所述的基于掩码自编码器的人脸图像恢复系统,其特征在于,所述源人脸恢复模块包括:语义特征提取子模块、通道卷积子模块、通道还原子模块和图像重建子模块;
所述语义特征提取子模块用于基于所述分割概率图与所述源人脸图像相乘后得到源人脸信息,将所述源人脸信息通过4个卷积-池化层进行下采样,提取高层语义特征的特征图;
所述通道卷积子模块用于将所述语义特征的特征图分割为源人脸特征与潜在目标人脸特征,使用转置卷积对所述源人脸特征进行上采样,利用卷积层对所述潜在目标人脸特征进行卷积,得到预设通道个数的特征图;
所述通道还原子模块用于利用残差连接将高层语义特征的特征图与所述预设通道个数的特征图进行拼接,使用卷积将拼接后的特征图恢复通道个数;
所述图像重建子模块用于将恢复通道个数的特征图重复4次S31-S33,恢复源人脸图像,基于所述源人脸图像与所述步骤S1中的源人脸图像计算身份损失和感知损失,得到重建的源人脸。
9.根据权利要求6所述的基于掩码自编码器的人脸图像恢复系统,其特征在于,所述图像掩码模块的工作流程具体包括:基于所述分割概率图计算掩码块序号,基于所述掩码块序号对所述伪造人脸进行分块,使用所述掩码块序号对分块后的伪造人脸进行遮盖,得到遮盖图像。
10.根据权利要求6所述的基于掩码自编码器的人脸图像恢复系统,其特征在于,所述自编码器恢复模块的工作流程具体包括:基于所述重建的源人脸中的潜在目标人脸特征与所述遮盖图像中的未遮盖图像块输入到掩码自编码器中进行展平,合并成一个张量,将所述张量输入到全连接层,得到张量图像特征向量;
将所述张量图像特征向量输入到Transformer模块中,通过多头注意力机制计算图像全局特征;
对所述图像全局特征进行掩码块填充,将填充后的图像全局特征输入到解码器中进行恢复图像块内容的操作,得到伪造人脸图像的人脸图像恢复图像。