1.一种基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,包括:将原始文本输入到训练好的ASG‑GAN模型中,得到最终高分辨率图像;
所述ASG‑GAN模型是将两个生成对抗网络模型即第一层生成对抗网络模型和第二层生成对抗网络模型合并形成一个高分辨率图像生成网络模型即ASG‑GAN模型;所述第一层生成对抗网络模型和所述第二层生成对抗网络模型均基于GAN模型构建;所述第一层生成对抗网络模型用于构建图像轮廓、填充基本颜色,生成低分辨率图像;所述第二层生成对抗网络模型用于利用所述低分辨率图像和所述原始文本,挖掘所述文本的隐含特征,为图像添加细节、弥补缺陷、丰富色彩,最终生成高分辨率图像。
2.根据权利要求1所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述第一层生成对抗网络模型包括场景图分析组件,将GAN模型的输入条件由场景图转变为所述原始文本。
3.根据权利要求2所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述场景图分析组件为Scene Graph Parser。
4.根据权利要求1所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述第一层生成对抗网络模型的鉴别器由一对鉴别器网络Dimg及Dobj组成;鉴别器表示为:LGAN=Ex~preallog D(x)+Ex~pfakelog(1‑D(x))其中,X~Preal是真实的图像,X~Pfake是来自生成器网络的输出,D通过最大化目标对输入X进行归类,生成器通过最小化L对鉴别器进行欺骗。
5.根据权利要求1所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述第二层生成对抗网络模型的生成网络为深层残差卷积神经网络。
6.根据权利要求1所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述第二层生成对抗网络模型的生成器损失函数表示为:
其中, 为标准高斯分布与条件高斯分布之间的KL
距离,为条件增强技术来产生的条件变量,s0为第一层网络的输出,φt为文本通过编码器转换得到的嵌入向量。
7.根据权利要求1所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述第二层生成对抗网络模型的鉴别网络为深度卷积神经网络,所述鉴别网络包含额外的下采样层,用来处理更大的图像。
8.根据权利要求1所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述第二层生成对抗网络模型的鉴别器的损失函数表示为:其中,为条件增强技术来产生的条件变量,s0为第一层网络的输出,φt为文本通过编码器,I为真实图像。
9.根据权利要求1所述的基于生成对抗网络ASG‑GAN文本描述生成图像方法,其特征在于,所述ASG‑GAN模型的训练过程为:
1)获取训练图像及对应的描述文本,将对应的图像描述文本传递至场景图分析组件,形成与图像对应的场景图;
2)固定所述第二层生成对抗网络,对所述第一层生成对抗网络进行训练,即将步骤1)所述场景图输入到生成器中,输出生成的伪图像;
3)计算损失函数值,即将步骤2)生成的所述伪图像、步骤1)所述的训练图像一同输入到鉴别器中进行鉴别,得到相应的损失函数值;
4)更新生成器和鉴别器的网络,即依据所述损失函数值对生成器和鉴别器进行反向传播,更新生成器和鉴别器的网络参数;
5)重复步骤2)、3)和4)直至第一层生成对抗网络模型收敛,完成对第一层生成对抗网络模型的训练;
6)固定第一层生成对抗网络模型,重复步骤2)、3)和4)直至第二层生成对抗网络模型收敛,完成对第二生成对抗网络模型的训练,最终完成所述ASG‑GAN模型的训练。