1.一种基于生成式对抗网络的图像域转换网络,其特征在于:包括U型生成网络、真假鉴别网络和配对鉴别网络,U型生成网络包括编码网络和解码网络,编码网络的输入端接入输入图像Input,编码网络的输出端连接解码网络的输入端,解码网络的输出端输出网络生成图像Output;设与输入图像Input一一配对的真实的目标域图像为目标域图像target;网络生成图像Output作为真假鉴别网络的训练负样本输入真假鉴别网络的负样本输入端,目标域图像target作为真假鉴别网络的训练正样本输入真假鉴别网络的正样本输入端,真假鉴别网络输出的值作为真假损失值反馈至解码网络的真假损失输入端;网络生成图像Output和对应输入图像Input作为训练负样本输入配对鉴别网络的负样本输入端,目标域图像target和对应输入图像Input作为训练正样本输入配对鉴别网络的正样本输入端,配对鉴别网络输出的值作为配对损失值反馈至解码网络的配对损失输入端;将网络生成图像Output与目标域图像target之间结构相似性值作为补偿损失值反馈至解码网络的补偿损失输入端。
2.根据权利要求1所述的基于生成式对抗网络的图像域转换网络,其特征在于:所述编码网络包括八层卷积网络,每层卷积网络的卷积核大小为3*3,步长为2*2,每层卷积网络均包括卷积层、Batch Normalization层和Leak ReLU激活层,Leak ReLU激活层的α参数为
0.2;所述解码网络包括八层反卷积网络,每层反卷积网络的反卷积核大小为3*3,步长为2*
2,每层反卷积网络包括反卷积层、BatchNormalization层和激活层,第一至第七层反卷积网络的激活层采用ReLU激活层,第八层反卷积网络的激活层采用tanh激活层。
3.根据权利要求2所述的基于生成式对抗网络的图像域转换网络,其特征在于:所述真假鉴别网络包括多层依次传递的真假鉴别卷积网络,每层真假鉴别卷积网络均包括卷积层、Batch Normalization层和激活层,最后一层真假鉴别卷积网络的激活层采用Sigmoid激活函数,其他层真假鉴别卷积网络的激活层采用ReLU函数。
4.根据权利要求3所述的基于生成式对抗网络的图像域转换网络,其特征在于:所述配对鉴别网络包括依次传递的Concat层和多层配对鉴别卷积网络,每层配对鉴别卷积网络均包括卷积层、Batch Normalization层和激活层,最后一层配对鉴别卷积网络的激活层采用Sigmoid激活函数,其它层配对鉴别卷积网络的激活层采用ReLU函数。
5.一种权利要求4所述的基于生成式对抗网络的图像域转换网络的图像域转换方法,其特征在于:包括以下步骤:
1)、训练U型生成网络,建立U型生成网络的网络模型;具体包括以下步骤:
A、收集待转换域的训练图像集,训练图像集中包括一一配对的原始域图像和目标域图像,对训练图像集中的原始域图像进行归一化,归一化后的图像即为网络训练时的输入图像Input,训练图像集中目标域图像为与输入图像Input对应的目标域图像target;
B、将步骤A所得的输入图像Input经U型生成网络转换成为训练网络的网络生成图像Output;
C、利用步骤A和步骤B所得输入图像Input、目标域图像target和网络生成图像Output进行多对抗鉴别网络的训练:多对抗鉴别网络的训练包括真假鉴别网络的训练和配对鉴别网络的训练,其中,真假鉴别网络的训练包括以下步骤:C11:采用随机初始化方法对真假鉴别网络的网络权重进行初始化;
C12:将网络生成图像Output作为负样本,与输入图像Input对应的目标域图像target作为正样本,在真假鉴别网络中进行训练,使用交叉互信息熵损失函数以及adam优化算法更新真假鉴别网络的网络权重;
配对鉴别网络的训练包括以下步骤:
C21:采用随机初始化方法对配对鉴别网络的网络权重进行初始化:
C22:将网络生成图像Output和对应的输入图像Input作为负样本,将输入图像Input和对应的目标域图像target作为正样本,在配对鉴别网络中进行训练,使用交叉互信息熵损失函数以及adam优化算法更新配对鉴别网络的网络权重;
D、重复步骤C,经过两次多对抗鉴别网络训练后,固定真假鉴别网络和配对鉴别网络的网络权重;
E、利用经过步骤D训练后所得的多对抗鉴别网络,对U型生成网络进行训练;具体包括以下步骤:
E1:采用哈维尔随机初始化方法对U型生成网络的网络权重进行初始化;
E2:将网络生成图像Output输入真假鉴别网络,真假鉴别网络输出真假损失值,并将输出的真假损失值反馈给U型生成网络中的解码网络,用于更新其网络权重:真假鉴别网络输出30*30*1图像,用于返回网络生成图像Output接近真实图像的损失值,其中,真假鉴别网络输出的每个图像像素点值的范围为0到1,像素点值越接近1表示输入图像Input在该像素点感受野区域越接近真实的图像,像素点值越接近0表示输入图像Input在该像素点感受野区域越不接近真实的图像;
E3:将输入图像Input和对应的网络生成图像Output输入配对鉴别网络,配对鉴别网络输出配对损失值,并将输出的配对损失值反馈给U型生成网络中的解码网络,用于更新其网络权重:配对鉴别网络输出30*30*1图像,用于返回输入图像Input和网络生成图像Output是否是输入图像Input与目标域图像target配对的损失值;其中,配对鉴别网络输出的每个图像像素点值的范围为0到1,越接近1表示输入图像Input和网络生成图像Output越匹配,越接近0表示越不匹配;
E4:计算出网络生成图像Output与目标域图像target之间的结构相似数值,并将计算出的结构相似性数值作为损失反馈给U型生成网络中的解码网络,用于更新其网络权重;结构相似性数值包括SSIM损失函数计算结果以及L1正则化计算结果,其中,SSIM损失函数来源于SSIM算法,SSIM算法的输出值SSIM(x,y)表示两幅图像之间的相似性,即输入图像x和目标域图像y之间的结构相似性,SSIM(x,y)的范围为-1到1,接近1表示两幅图像的相似度越高,当输入图像x和目标域图像y一模一样时,SSIM(x,y)的值等于1;
SSIM算法输出值的计算公式如下:
公式(1)中,x为输入图像Input,y为与输入图像Input对应的目标域图像target,μx是x的平均值,μy是y的平均值, 是x的方差, 是y的方差,σxy是x和y的协方差,c1=(k1L)2和c2=(k2L)2是用来维持稳定的常数,L是像素值的动态范围,k1=0.01,k2=0.03;
F、步骤C~E为一次U型生成网络的权重训练,重复步骤C~E,完成两次U型生成网络的权重训练后,即完成U型生成网络的训练,所得生成网络即为U型生成网络的网络模型;
2)、将待转换的图像经过归一化处理后输入经步骤1)建立的网络模型,即可完成待转换图像的图像域转换:归一化后的图像作为输入图像Input输入步骤1)中建立的网络模型中,编码网络提取输入图像Input的高维特征,然后通过解码网络输出网络生成图像Output,输出的网络生成图像Output即为经图像域转换后的目标域图像。
6.根据权利要求5所述的基于生成式对抗网络的图像域转换方法,其特征在于:所述步骤E中U型生成网络的整体损失函数为:LGAN(G,D1,D2)=LD1+λ1LD2+λ2Lssim+λ3L1 (2)
整个生成式对抗网络中需要优化的整体损失函数为:
*
G=arg minGANmaxD1maxD2(LGAN(G,D1,D2)+LD1+LD2) (3)公式(2)和(3)中, 表
示真假鉴别网络输出的真假损失,
表示配对鉴别网络输出的配对损失, 表
示SSIM损失函数计算的损SSIM损失, 表示L1正则项损失,x
表示输入图像Input,y表示与输入图像Input对应的目标域图像target,λ1为配对损失占U型生成网络整体损失中权重的参数,λ2表示SSIM损失占U型生成网络整体损失中权重的参数,λ3表示L1正则项的值占U型生成网络整体损失中权重的参数;
U型生成网络的训练初期,真假损失、配对损失、SSIM损失和L1正则项损失的比例为1∶1∶4∶1,随着网络训练次数的增加,真假损失、配对损失、SSIM损失和L1正则项损失的比例逐渐变为1∶1∶0.5∶1,即SSSIM损失占U型生成网络整体损失中权重的参数按照设置的总体训练次数逐渐降低。
7.根据权利要求5所述的基于生成式对抗网络的图像域转换方法,其特征在于:所述步骤C中的交叉互信息熵损失函数为带有平滑项的交叉互信息熵损失函数;带有平滑项的交叉互信息熵损失函数的公式为:公式(4)中,i为batch的大小,ti为预测的样本值,yi为真实的样本值,EPS为添加的平滑项,EPS的值选取为0.005。
8.根据权利要求5所述的基于生成式对抗网络的图像域转换方法,其特征在于:所述的网络生成图像Output的生成过程包括以下步骤:a)、将待转换的图像归一化为256*256*3像素的图像,将归一化后的图像作为输入图像Input输入编码网络中,输入图像Input依次经过编码网络中的8层卷积网络,最后输出的数据为1*1*1024的特征图像;编码网络中每层卷积网络的卷积核大小为3*3,步长为2*2;
b)、将步骤a)中生成的1*1*1024的特征图像输入解码网络,特征图像依次经过解码网络的8层反卷积网络,同时将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算,最终生成完整的网络生成图像Output,即反卷积层的输入不但有来自上一层反卷积运算的特征图像,还有对应张量大小的卷积运算特征图像;其中,每层反卷积网络的反卷积核大小为3*3,步长为2*2。
9.根据权利要求8所述的基于生成式对抗网络的图像域转换方法,其特征在于:所述步骤b)中,在前三层的反卷积网络输入的特征图像中,在将步骤a)中每层卷积网络运算后的特征图像输入到相同数据张量大小的反卷积层中进行运算的过程中加入Dropout操作;其中,Dropout操作的参数使用为0.2,即随机关闭两个连接层中20%的连接节点。
10.根据权利要求5所述的基于生成式对抗网络的图像域转换方法,其特征在于:所述步骤E4中SSIM算法的计算采用卷积核的滑窗形式,滑窗大小为7*7。