1.一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,包括以下步骤:步骤1、构建人脸特征编辑模型FFEGAN;
所述人脸特征编辑模型FFEGAN包括生成器、判别器和损失网络;
所述生成器由特征信息映射网络、图像生成网络和注意力掩码生成网络三部分组成;
所述生成器G由通过编码器-解码器结构生成目标图像的图像生成网络Ggen、利用多头自注意力机制生成注意力掩码的注意力掩码生成网络Gmask和将独热编码转换为高维潜在信息的特征信息映射网络M三部分组成;
假设原始人脸图像为x,原始域被赋予的特征标签为c0,目标域被赋予的特征标签为ct,所述生成器是以原始人脸图像x和目标域标签ct作为输入,生成一张目标图像y,并使其特征标签与ct相匹配,同时保留面部原始信息和属性;
所述特征信息映射网络的功能用公式表示为:
kt=M(ct) (9)
在公式(9)中,M为特征信息映射网络;ct为离散的特征属性标签,kt为暗含特征信息的高维潜在编码;
所述特征信息映射网络的输入为一个n维的独热编码,该独热编码在进入特征信息映射网络后,需要经过九层密集层,而每层密集层后又紧随着一个激活层;在独热编码经过密集层时,其中的神经元将会对独热编码进行仿射变换,而独热编码经过激活层将进行非线性变换,在经过九层密集层和九层激活层后,特征信息映射网络将会输出一个高维潜在编码,独热编码在密集层中进行仿射变换的操作用公式表示为:在公式(10)中,z为仿射变换最终的输出值;第k层任意一个神经元与第k+1层任意一个神经元之间的权重用ωk表示;m为特征信息映射网络的最大层数;c是计算过程中抵消仿射变换偏移的一个额外偏置量;
所述特征信息映射网络的输入层和其后的七个密集层由512个神经元组成,特征信息映射网络的输出层由N个神经元组成;
所述激活层采用泄漏线性整流单元Leaky ReLU作为激活函数,Leaky ReLU激活函数的数学表达式为:步骤2、以待转换的目标域的标签和原始图像作为人脸特征编辑模型FFEGAN模型的输入,输出一张将特征从原始域转换到目标域的生成图像;
首先目标域标签被生成器中的特征信息映射网络转化为深度特征信息的数据,然后在原始图像转换为生成图像的过程中添加到图像生成网络中实现对转换的控制,最后生成图像进入到判别器中进行评估,评价所生成图像的真实程度,并对生成图像进行域的分类。
2.根据权利要求1所述的一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,步骤1中,所述目标域标签ct在生成器中将被以随机的方式生成,在模型训练过程中,输入的目标域标签ct会被特征信息映射网络M映射为暗含特征信息的高维潜在编码kt,该向量将会被多次注入到图像生成网络Ggen中来强化标签对生成的控制,所述图像生成网络Ggen的数学逻辑表达式为:Ggen(x,kt)=y (1)
生成器G的数学逻辑表达式为:
G(x,ct)=Ggen(x,M(ct))=y (2)
在公式(1)和(2)中,x是输入到生成器中的原始图像,y为生成器所生成的新图像;M为特征信息映射网络;
所述生成器的生成工作运行到解码器部分时,在对不同网络层次的信息进行上采样时,暗含特征信息的高维潜在编码kt会被多次注入到图像生成网络Ggen的不同层次,以强化标签在解码器不同层次的控制。
3.根据权利要求2所述的一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,所述图像生成网络Ggen的编码器部分由三层下采样层和相同数量的瓶颈层组成,所述下采样层用于对输入的数据进行卷积操作以提取图像内含的特征信息,在每次卷积操作后均使用自适应实例归一化方法进行归一化处理;
所述图像生成网络Ggen的解码器部分与编码器部分在结构上是对称的,解码器部分由三层瓶颈层和相同数量的上采样层组成,所述上采样层用于执行转置卷积操作,所述瓶颈层采用残差块进行跳跃连接,所述残差块在图像生成网络Ggen中的工作原理用公式表示为:y=σ(F(x,W)+x) (3)
在公式(3)中,σ(·)代表激活函数,F(·)代表残差函数,W代表残差块内的所有权重;
对于一个更深的层L,其与前一层l的关系为:
在公式(4)中,xl是从前一层中获得的特征向量,同时也是L层的原始输入数据,i是需要进行原始特征与非线性变换结果相加运算的层次标识;
所述每次卷积操作后均使用自适应实例归一化方法进行归一化处理,自适应实例归一化的计算过程为:AdaIN(X,kt)=(1+f(kt)1)(IN(X))+f(kt)2 (5)在公式(5)中,X是图像的特征分布;设密集层由函数f表示,则f(kt)1和f(kt)2是切片操作所产生的两个参数,IN(X)意味着对输入图像的特征分布X进行实例归一化(InstanceNormalization),即对每个样本的每个通道单独归一化。
4.根据权利要求3所述的一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,所述注意力掩码生成网络Gmask架构与图像生成网络Ggen架构类似,所述注意力掩码生成网络Gmask在瓶颈层的最后一层之后,添加有一个用于多头自注意力机制计算的计算操作,所述多头自注意力机制的头的个数设置为3个,所述注意力掩码生成网络Gmask的上采样层部分,采用实例归一化方法对特征进行归一化处理,在注意力掩码生成网络Gmask瓶颈层的最后一层,卷积核的个数设定为1,注意力掩码生成网络Gmask将以原始图像x作为输入,最后输出一个通道数为1,分辨率与原始人脸图像x的分辨率相同的注意力掩码AttM,所述掩码AttM中含有原始图像的相关特征位置的信息和不同区域在转换工作中的权重信息;
在注意力掩码生成网络Gmask正确地生成注意力掩码AttM的基础上,图像生成网络Ggen只需要对掩码所标记的相关区域进行转换,而其它区域维持原样就可以完成一次成功的转换,生成器G输出图像y*的过程用公式表示为:y*=(1-AttM)·x+AttM·y' (6)
在公式(6)中,x为输入到生成器中的原始图像,y'为掩码所标记的相关区域,AttM为注意力掩码;
则生成器G整体的工作原理表示为:
G(x,ct)=Gmask(x)·Ggen(x,M(ct))+(1-Gmask(x))·x (7)。
5.根据权利要求1所述的一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,步骤1中,所述判别器包括两个判别分支,所述两个判别分支分别为对抗判别分支Dadv和分类判别分支Dcls;所述对抗判别分支Dadv采用全卷积形式,在输入的图像经过卷积操作后,其输出的结果将继续通过卷积操作投影到一个包含判别信息的N阶投影矩阵中,该N阶投影矩阵中每一个值都对应包含了判别器对图像某一块区域的评价结果;所述分类判别分支Dcls用于输出一个描述输入图像特征的概率分布,所述概率分布用于辅助人脸特征编辑模型FFEGAN学习各种特征属性,并将其分类到正确的特征标签中;
所述判别器的整体结构用公式表示为:
D={Dadv,Dcls} (8)。
6.根据权利要求1所述的一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,所述图像生成网络Ggen通过使用一个在图像分类领域经过预训练的损失网络来计算上下文损失,将生成的图像和原始图像输入损失网络,在密集层前的最后一个激活层中提取图像的特征分布并计算上下文损失,在该层提取到的特征信息能够最好地反映图像潜在的深度特征。
7.根据权利要求1所述的一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,在FFEGAN模型的训练过程中,为了确保生成器G在生成具有目标特征的新图像y时,能够在将原始特征转换到目标特征的同时,最大程度地保留原始图像x的其他信息,将重组损失应用于生成器,重组损失的定义表示为:Lre=||x-G(G(x,ct),co)||1 (12)
在公式(12)中,x为输入到FFEGAN模型中的原始图像;y为FFEGAN模型所输出的生成图像;co为原始图像所对应的原始域的标签;
对于判别器的两个不同的判别分支——对抗判别分支Dadv和分类判别分支Dcls,在模型训练的过程中,由于其目的的不同,生成器G的目标是不断地降低和减少对抗损失Ladv,而判别器D的目标是不断地提高和增加对抗损失;对应的损失函数也完全不同;
所述对抗判别分支Dadv的损失函数表示为:
公式(13)中,Ladv是对抗损失;x是输入到FFEGAN模型中的原始图像;Dadv(x)是判别器的对抗判别分支所输出的图像的概率分布;ct是转换的目标域标签;
所述分类判别分支Dcls的损失函数表示为:
①训练判别器D时,分类判别分支Dcls的功能是用分类损失来评估判断真实图像的属性类别,因此损失函数表示为:公式(14)中,Dcls(co|x)是分类判别分支对输入图像是否为所输出的特征属性的置信概率分布;x是输入到FFEGAN模型中的原始图像,co是原始图像特征属性的原始域标签;
②训练生成器G时,分类判别分支Dcls的功能是帮助生成器G生成符合目标域标签ct的图像,因此损失函数表示为:公式(15)中,Dcls(ct|G(x,ct))是分类判别分支对输入图像是否属于目标特征属性的置信概率分布;x是输入到FFEGAN模型中的原始图像,ct则是转换任务的目标域标签,即目标特征属性的标记标签。
8.根据权利要求6所述的一种基于特征信息映射和注意力机制的人脸特征转换方法,其特征在于,所述上下文损失,对于原始的输入图像x和生成图像y,将他们视作是各自图像中所包含的所有特征的集合,记为:X1={xi},Y1={yj};在计算时X1和Y1作为集合的大小需要是相同的,即|Y1|=|X1|,当两个集合的大小不同时需要从更大的集合中添加额外的特征;
首先,需要对特征的余弦距离进行归一化的操作,该操作的原理表示为:
公式(16)中,dij为xi到yj的余弦距离;l为任意不等于j的正整数;∈为分母的偏移量,∈=1e-5;
然后,需要将归一化后的距离转换为特征之间的相似度,这个转换的过程是通过指数操作完成的;同时为了让不同特征之间的相似度在度量时具有一个统一的尺度,将相似度定义为原始特征和当前特征的相似度与原始特征和其他所有特征的总相似度的商,该过程的原理用公式表示为:公式(17)中,h为一个带宽参数,h>0;CXij为特征i和特征j之间的相似度;
当公式(17)应用于全图像时,两个样本图像之间的相似度的定义用公式表示为:
假设FFEGAN模型使用VGG19作为损失网络,通过VGG19损失网络提取输入图像的特征集合,然后再将特征集合应用于上下文损失函数中,所述上下文损失函数的定义用公式表示为:LCX(x,y,k)=-log(CX(Φk(x),Φk(y))) (19)公式(19)中,Φk(x)和Φk(y)分别是图像x和y在损失网络Φ的第k层所提取到的特征集合;
进一步将公式(19)应用到FFEGAN模型中,则FFEGAN模型所对应的上下文损失函数表示为:LCX(G(x),x,k)=-log(CX(Φk(G(x)),Φk(x))) (20)根据公式(20)提供的上下文损失函数能够了解到,生成器G在生成图像的过程中,需要最小化上下文损失LCX,这将有助于提高生成图像和原始图像在特征集合层面上的相似度;因此能够得到FFEGAN模型中生成器G的总损失函数为:公式(21)中,LG代表了生成器G的总损失;Ladv为判别器对抗判别分支的对抗损失;为判别器分类判别分支的分类损失;Lre为用于维持图像原有信息的重组损失;Lcx为上下文损失;λcls,λre和λcx为分类损失、重组损失和上下文损失的权重系数,这三个权重系数会影响生成图像在维持原有信息和特征转换之间的平衡关系;
所述FFEGAN模型判别器D的总损失函数为:
在公式(22)中,LD为判别器的总损失;Ladv为判别器对抗判别分支的对抗损失;为判别器分类判别分支的分类损失;λcls为分类损失的权重系数,该系数会影响判别器在对抗生成器和正确分类标签之前的平衡关系。