1.一种基于生成对抗网络的文本生成序列图像的方法,其特征在于,包括以下步骤:S1)构建训练数据库,所述训练数据库包括训练文本和与所述训练文本相对应的原始图像,利用所述训练文本和所述原始图像对生成对抗网络模型进行训练;
所述生成对抗网络模型包括混合生成器和鉴别器,所述混合生成器包括场景图引导的图像生成器和基于序列条件的图像生成器;所述场景图引导的图像生成器用于通过基于场景图的生成模型对训练文本进行处理而输出第一生成图像,所述基于序列条件的图像生成器用于依据训练文本的上下文信息对训练文本进行处理而输出第二生成图像;
对所述生成对抗网络模型进行训练时,由场景图引导的图像生成器对训练文本进行处理而输出第一生成图像,并由基于序列条件的图像生成器对训练文本进行处理而输出第二生成图像,第一生成图像和第二生成图像在所述混合成器中叠加生成初始生成图像,将所述初始生成图像输出至鉴别器,由所述鉴别器判别所述初始生成图像相对所述原始图像的相似度,并根据判别结果对所述混合生成器进行优化;
S2)将待处理的文本输入至训练后的所述生成对抗网络模型中,由训练后的所述生成对抗网络模型生成与所述待处理文本相对应的图像并输出。
2.根据权利要求1所述的基于生成对抗网络的文本生成序列图像的方法,其特征在于,所述混合生成器根据所述训练文本生成至少一个初始生成图像;
所述鉴别器包括图像鉴别器、对象鉴别器和故事鉴别器;
所述图像鉴别器用于判别所述初始生成图像是否与训练文本的内容相匹配,以及判别所述初始生成图像相对所述原始图像的清晰度;
所述对象鉴别器用于判别所述初始生成图像中的对象相对所述原始图像是否有缺失;
所述故事鉴别器用于判别整个训练文本所对应的多个初始生成图像中的对象的一致性。
3.根据权利要求1所述的基于生成对抗网络的文本生成序列图像的方法,其特征在于,所述步骤S1)中,由场景图引导的图像生成器对训练文本进行处理而输出第一生成图像的方法为:将训练文本中的每个句子均转换为相应的初始场景图,计算出所述初始场景图的场景布局,再将所述场景布局输入到级联细化网络中而生成相应的第一生成图像。
4.根据权利要求3述的基于生成对抗网络的文本生成序列图像的方法,其特征在于,计算出所述初始场景图的场景布局的方法包括:利用图卷积网络处理所述初始场景图而得到初始场景图中每个对象的嵌入向量,根据每个对象的嵌入向量预测出该对象的分割掩码和边界框,然后由所有对象的分割掩码和边界框计算出场景布局。
5.根据权利要求3述的基于生成对抗网络的文本生成序列图像的方法,其特征在于,将训练文本中的每个句子均转换为相应的初始场景图时,需先提取出训练文本中的每个句子的对象、对象关系和对象属性,再依据每个句子的对象、对象关系和对象属性生成该句子的初始场景图。
6.根据权利要求5述的基于生成对抗网络的文本生成序列图像的方法,其特征在于,提取出训练文本中的每个句子的对象、对象关系和对象属性的方法为:利用依赖解析器将训练文本解析成句法的依存关系树,然后对依存关系树进行解析以提取出每个句子的对象、对象关系和对象属性。
7.根据权利要求1述的基于生成对抗网络的文本生成序列图像的方法,其特征在于,所述步骤S1)中,由基于序列条件的图像生成器对训练文本进行处理而输出第二生成图像的方法包括:利用故事编码器将整个训练文本编码为嵌入向量并输出至上下文编码器,上下文编码器从故事编码器输出的嵌入向量中捕获上下文信息并输出至多个第一图像生成器,每个第一图像生成器对应所述训练文本中的一个句子,每个第一图像生成器结合所述上下文信息和所述训练文本中的每个句子的信息将每个句子转化为相应的所述第二生成图像。