1.一种基于可逆神经网络技术的人脸隐私面具可逆保护方法,其特征在于,包括以下步骤:
11)原始人脸图像的获取:获取原始受保护人脸图像,并组成训练数据集;
12)可逆面具网络的构建:基于可逆神经网络构建可逆面具网络;
所述可逆面具网络的构建包括以下步骤:
121)设定可逆面具网络包含2个子模块,为Mask-Net模块、可逆嵌入网络;
122)设定Mask-Net模块包含四个模块:编码器、ID注入模块、解码器和面部增强模块,其结构设定如下:
1221)设定编码器的输入为受保护人脸,经过编码器对受保护人脸进行编码,输出编码后的受保护人脸;
1222)设定ID注入模块的输入为编码后的受保护人脸和源脸的身份信息,其在特征层面将源脸的身份信息迁移到编码后的受保护人脸;
1223)设定通过解码器获得初步生成的面具人脸;
1224)设定利用面部增强模块对初步生成的面具人脸进行超分辨率重建,生成面具人脸;
123)设定可逆嵌入网络包括前向过程、后向过程及其损失函数,其中前向过程与后向过程的结构相同;
1231)设定前向过程包含三个步骤:DWT、前向嵌入网络、IWT;设定后向部分包含三个步骤:DWT、后向恢复网络、IWT;其中,DWT用于将图像的时域特征转化为频域特征,IWT用于将频域特征恢复为图像;
1232)设定前向嵌入网络,前向嵌入网络由N个嵌入块级联而成;
1233)设定后向恢复网络,后向恢复网络由N个恢复块级联而成;
1234)设定可逆嵌入网络的整体LOSS函数,
定义嵌入损失函数如下:
其中,等价于θ是网络参数,T是训练样本数,le是用于衡量戴上面具人脸xMasked和面具人脸xMask之间的差异,LEmbedding(θ)代表嵌入损失;
定义恢复损失函数如下:
其中,恢复人脸等价于表示恢复过程,χ是n的分布,T是训练样本数,lR表示恢复人脸xRecovered和受保护人脸xProtected之间的差异,LRecovering(θ)代表恢复损失;
定义低频小波损耗如下:
其中,H()LL代表着低频子带,代表着戴上面具人脸xMasked的低频子带和面具人脸xMask的低频子带之间的差异,T是训练样本数,Llow-frequency(θ)代表低频损失;
定义总损失LTotal为嵌入损失LEmbedding、恢复损失LRecovering和低频损失Llow-frequency三者的权重和,其表达式如下:LTotal=λ1LEmbedding+λ2LRecovering+λ3Llow-frequency其中λ1、λ2和λ3用于平衡不同损失函数的权重;
13)可逆面具网络的训练:将训练数据集输入可逆面具网络进行训练;
所述可逆神经网络的训练包括以下步骤:
131)训练参数设置:设定学习率为0.00001、权重衰减为1000、批量大小为16个样本、循环次数为10000次;
132)将训练数据集输入Mask-Net模块,输出面具人脸;
133)将输入受保护人脸和面具人脸输入前向嵌入网络进行戴上面具的训练:
1331)嵌入过程为:输入受保护人脸xProtected和面具脸xMask;
1332)对受保护人脸xProtected和面具人脸xMask进行小波变换,定义特征图经过DWT的变化为:其中,B为批量大小,H为深度,W为宽度,C为通道数;
1333)经过DWT之后,将频域的受保护人脸xProtected和面具人脸xMask输入到前向嵌入网络中,前向嵌入网络中共有N个相同结构的嵌入块,对于该模块中的第i个嵌入块,输入为和输出为和计算公式如下:其中α是一个乘常数因子用作钳制的冲激函数,ρ(·),η(·)用稠密块来表示,xProtected是受保护人脸,xMask是面具人脸,i代表第i个嵌入块;
1334)在第N个嵌入块后,将输出和进行IWT,获得xMasked和丢失信息m,其表达式如下:其中,m是丢失信息,戴上面具的人脸xMasked和丢失的信息m服从相同的分布,N代表第N个恢复块;
从Case-agnostic分布中随机抽样生成辅助信息n,该信息n服从与m相同的分布;
134)进行可逆嵌入网络卸下面具的训练:在脱下面具的过程中,使用辅助信息n来帮助获得恢复的人脸xRecovered;
1341)恢复过程为:输入戴上面具人脸xMasked和辅助信息n;
1342)对戴上面具人脸xMasked和辅助信息n进行DWT处理;
1343)经过DWT之后,将频域的戴上面具人脸xMasked和辅助信息n输入到后向恢复网络中,后向恢复网络中共有N个相同结构的恢复块,对于该模块中的第i个恢复块,输入为和ni,输出为ni+1和计算公式如下:xMasked是戴上面具人脸,n是辅助信息,α是一个乘常数因子用作钳制的冲激函数,ρ(·)、η(·)用稠密块来表示,i代表第i个嵌入块;
1344)在第N个恢复块后,将输出和nN进行IWT,获得恢复人脸xRecovered,其表达式如下:xMasked是戴上面具人脸,n是辅助信息,xRecovered是恢复人脸,N代表第N个恢复块;
14)待保护人脸图像的获取:获取待保护的人脸图像;
15)人脸隐私面具的生成:将待保护的人脸图像输入训练后的可逆面具网络,生成带有面具的人脸图像;
16)人脸隐私面具的卸除:将带有面具的人脸图像输入训练后的可逆面具网络,卸除人脸隐私面具。