1.基于生成对抗网络的增量式聚焦的图像到图像转换方法,其特征在于包括如下步骤:步骤(1)数据预处理
数据预处理分为两部分,第一部分对原始数据集进行划分数据集,第二部分对数据集做对齐、随机裁剪操作达到数据增广;
I G I G
预处理好的源图像P和相对应的目标图像P构成二元组,以{P ,P}作为训练集;
步骤(2)设计基于生成对抗网络生成的网络结构
增量式聚焦损失生成对抗网络,在生成器中引入增强型自我注意力机制模块,将输入的人脸图像在保证身份信息和场景信息不变的同时做到图像转换生成操作;
步骤(3)设计基于生成对抗网络生成的损失函数
I G I G
从不同人脸图像P生成其对应的画像P,为了训练网络构建{P ,P}这样的数据对,两者具有相同的数据维度;引入了增量式聚焦损失函数,逐渐降低样本的权重,而增量地将生成器和鉴别器分别集中于难生成的或难识别的示例,最终得到视觉更真实、身份信息良好的画像;
步骤(4)模型训练
I G
使用预处理后的数据集构成的{P ,P}二元组作为最终训练集;利用预训练模型对网络初始化,结合步骤(3)中所述的损失函数,计算生成图像与原图的身份信息和真实度等差异,进而利用反向传播算法对步骤(2)中设计的神经网络模型的参数进行训练,直至整个网络模型收敛;
步骤(2)所述的设计基于生成对抗网络生成的网络结构,具体分为两大部分:生成器和鉴别器;
其中生成器分为编码器、解码器、增强的自我注意力机制模块三部分;
对于编码器:共分为8个模块,第1个模块为一层卷积层,第2‑7个模块均由3种运算组成,依次分别为:Leaky修正线性单元,卷积层和批规范化,最后一个模块由Leaky修正线性单元和卷积层组成;同时,将每一个模块的输出结果作为特征进行保留,在解码器中相对应的第Layer‑i+1模块中与其前一模块输出进行拼接,作为这一模块的输入使用,其中Layer为编码器总模块数,i为第i个模块;
对于解码器:分为8个模块,第1‑7个模块均由3种运算组成,依次分别为:修正线性单元、反卷积层和批规范化,最后一个模块包括修正线性单元、反卷积层和双曲正切;在解码器中,编码器最后一个模块的特征图作为解码器第一个模块的输入;
对于增强的自我注意力机制模块:分为两个模块;第一个模块是自我注意力机制,通过三个卷积层分别输出三个特征空间:f=Wfx;g=Wgx;h=Whx; 公式(1)C×C
其中 Wh∈R 为卷积层中的参数;x为输入特征,C为通道数;将转置后的f与g的经过叉乘计算一个位置的响应权重,作为所有特征的加权和,再与h做叉乘得到输出的特征:其中i,j,k代表像素位置,βj,i为相应元素的响应权重;
最终的自我注意力机制为:
z=λ1o+x 公式(3)
其中λ1为可训练参数,初始化为0;
第二个模块由修正线性单元、反卷积层和双曲正切组成,将输入转换成具有颜色空间的生成图像,生成图像具有与解码器最终输出的生成图像相同的尺寸,并将它投入鉴别器中利用损失函数计算损失值以优化网络模型参数;解码器第七个模块的输出特征作为增强的自注意力机制中两个模块的输入,而第一个模块的输出作为解码器中第八个模块的输入;
所述的鉴别器:分为5个模块,第1个模块由卷积层和Leaky修正线性单元组成,第2‑4个模块由卷积层、批规范化和Leaky修正线性单元三种运算组成,最后一个模块由卷积层组成;
最终,人脸照片输入到设计好的生成对抗网络模型,一个含有增强的自注意力机制的多尺度输出的Encoder‑Decoder结构网络的生成器中,通过先验知识结合鉴别器相互博弈,从而得到最终视觉效果很好的图像。
2.根据权利要求1所述的基于生成对抗网络的增量式聚焦的图像到图像转换方法,其特征在于步骤(1)所述的数据预处理,具体如下:
1‑1.数据集划分:CUFS的三个子数据集:CUHK、AR、XM2VTS,分别有188张、123张、295张人脸图像以及每张图片所对应的画像;此二元组已进行面部关键点对齐操作,即计算数据集中的面部关键点坐标,得出人脸及图像相对应的五个关键点,将面部图像以双眼连线为I G基准水平对齐,经过缩放裁剪等操作得出尺寸为200*250的二元组{P ,P};从三个子数据集中分别随机抽取88对、80对、100对,共268对作为训练集,剩余为测试集,训练集随机抽取
100对作为验证集;并将二元组的路径名称一一写入txt文本中,通过读取txt文本,按路径名称检索图片,使图片的二进制格式数据转换成网络识别的数据格式;
1‑2.图像输入深度网络模型训练前,对二元组图像采用边缘填充时,将图像的边缘像素作为填充信息,填充为Edge Padding,且二元组随机裁剪256*256时,需对应一致裁剪,并I C×H×W G C×H×W将图像归一化到[‑1,1];最终将预处理好的人脸图像P ∈R 以及对应的画像P∈RI G作为训练集{P ,P}二元组,其中C、H、W分别代表图像的通道数、高度和宽度。
3.根据权利要求2所述的基于生成对抗网络的增量式聚焦的图像到图像转换方法,其特征在于步骤(3)所述的设计基于生成对抗网络生成的损失函数,具体如下:该损失函数的设计分为两部分:增量聚焦损失函数以及像素级重建损失函数,分别用LIFL和Lrec表示;
对于像素级重建损失函数,具体公式如下:
其中, 为生成器中的特征经过一层反卷积层转为具有颜色空间的生成图像,y为对应的目标图像,通过计算二者的曼哈顿距离以优化网络;
对于增量聚焦损失函数,具体公式如下:
其中 分别为鉴别器和生成器的增量聚焦损失,增量系数γ
(t)在训练过程中逐步增加,具体公式为:
γ(t)=λt+γ0 公式(4)
其中t表示训练过程中的迭代数,初始聚焦因子γ0≥0,增量速率λ≥0;因为γ(t)不能过大,如果一个指数函数中指数的底若为小数,作为指数的幂的γ(t)过大会导致损失变极小反而混淆模型;因此采用上界受限的分阶段式变种:其中Tf表示固定迭代参数,即每阶段增长一次增量系数,训练中达到γmax时则保持增量系数不变;
最终总损失函数为:
其中,α为像素级重建损失的加权系数;Di为生成器的第i个输出图像的鉴别器损失。
4.根据权利要求3所述的基于生成对抗网络的增量式聚焦的图像到图像转换方法,其特征在于步骤(4)所述的模型训练,具体如下:针对步骤(2)所给出的最终生成对抗网络模型,在实际训练中,经过大量的实验,得到步骤(3)目标函数的合适参数选择,γ=1;
使用Pytorch深度学习框架训练,最终生成图像。