欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022110958488
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于生成式预训练语言模型的联想文本到图像生成方法,其特征在于,包括:

步骤S1、基于数据集对生成式预训练模型进行微调,让预训练模型获得语义保留度好已有文本信息,得到微调后的预训练模型;

步骤S2、将原始数据集中每张图像对应的十个句子作为步骤S1获得的微调后的预训练模型的输入,得到模型输出的生成数据集;对生成数据集进行约束处理和语义保留度评估选择,得到联想文本数据集;

步骤S3、基于步骤S2获得的所述联想文本数据集,利用基于DF-GAN的对抗生成网络模型,生成在文本图像跨模态语义特征上一致的图像;

所述步骤S1包括:

步骤S11:获取数据集,将数据集中每张图像对应的十个句子编排成句子串,包括:数据集中包括多张图像,每一张图像对应十个句子;将每张图像对应的十个句子按以下规则编排成句子串:句子串编排如下:“$句a#句b#句c#...#句9#句10$”;句子串分为两个部分:第一部分为随机初始化,句a,句b,句c为随机从一张图像对应的十个句子中初始化的三句话;第二部分则为剩下句子的顺序拼接,其中“#”、“$”分别为分隔符和起始符,GPT-2生成结构化的句子串,分隔符便于拆解生成的句子串,起始符用于防止模型生成过长或者过短的句子串;

步骤S12:将数据集的句子串输入预训练模型进行训练、微调得到微调后的预训练模型,包括:所述预训练模型为GPT-2模型;所述GPT-2模型的训练、微调方法包括:设给定输入的一个句子串表示为句子序列[x1,x2,...,xm],m为句子串中第m个句子;GPT-2模型在预训练、微调时的损失函数分别为L1(X)和L2(x),公式如下:其中预训练损失函数L1(X)采用最大似然函数,P()表示条件概率,Θ为的神经网络建模参数;i为0,1…k的遍历取值;k小于m,为滑动窗口的大小;

微调的过程采用的是有监督学习,训练样本包括句子序列[x1,x2,...,xm]和以第一个句子x1作为类标label;GPT-2模型微调的过程中根据句子序列[x1,x2,...,xm]预测类标label,即为L2(X);

优化函数L3为L1和L2的加权和:L3=L2+λL1,其中λ为超参数,L1和L2分别为GPT-2模型在预训练、微调时的损失函数;

步骤S2中,对生成数据集进行约束处理,包括:采用就近原则、格式正则化和句子选择对生成数据集进行处理;对生成数据集进行语义保留度评估选择,包括:采用bleu指标对生成数据集进行评估,其中bleu指标包括同一种类别中不同姿势不同背景的样本bleua、区别较大的不同类别其中的样本bleub和视觉特征近似但是属于不同类别其中的样本bleuc:Candidates表示生成数据集的句子,reference为原始数据集中的句子,Count表示计数,Countclip表示分子截断计数,n-gram表示出现在reference中的candidates中衡量的连续单词个数,n-gram’表示candidates中衡量的连续单词个数,c,c′为同时从数据集中选取的衡量的句子数量;∑c∈candidates、∑c′∈candidates表示包括所有candidates;∑n-gram∈c、Σn-gram′∈c′表示计算候选变量中的所有匹配的句子数量,并表示reference中特定变量的个数;Countclip(n-gram)表示出现在reference中的candidates中匹配的句子数量;Count(n-gram′)表示n-gram′在candidates中匹配的句子数量;

分别计算生成数据集与原始数据集的三个指标bleua、bleub和bleuc;

生成数据集与原始数据集的三个指标的比值一致,则表示三个指标都和原始数据集语义一致,将和原始数据集语义一致的生成数据集选择为联想文本数据集。

2.根据权利要求1所述的基于生成式预训练语言模型的联想文本到图像生成方法,其特征在于,所述基于DF-GAN的对抗生成网络模型,包括:一个预训练过的文本编码器、一个生成器和一个判别器;

文本编码器:联想文本数据集所有的文本经过文本编码器编码,将输出的句子向量存入文本编码库;

生成器有两个输入:文本编码器编码过后的句子向量以及从正态分布中采用的随机噪声,随机噪声经过全连接层转换为设定尺寸,经过一系列深度语义融合模块生成图像特征,在每一层的深度语义融合模块中,该方法将输入的多条句子与当前层级的特征图进行交互,计算跨模态注意力机制以区分句子在不同生成器层中的权重分,再通过卷积层将图像特征转换为图像;其中每一个深度语义融合模块均包括:上采样层、残差块和文本-图像特征融合块;

判别器中使用一系列下采样层将图像转换为图像特征,然后把图像特征与句子向量相连接,经过一步式生成来计算对抗损失来保证视觉真实性和语义一致性;

生成器和判别器的损失函数如下:

其中,LD为判别器的损失函数,LG为生成器的损失函数式中z为高斯分布采样的噪声矢量;D是判别器,G是生成器,G(z)表示通过生成器生成的图像,e是句子向量;分别表示合成数据分布、真实数据分布和不匹配数据分布,表示合页损失计算函数,x表示真实图像,D(x,e)表示判别器输入真实图像的判别值、D(G(z),e)表示输入生成图像的判别值。

3.根据权利要求2所述的基于生成式预训练语言模型的联想文本到图像生成方法,其特征在于,所述生成器的处理过程包括:生成器采用注意力机制,设αn为第n个句子对应的注意力机制权重;

其中X为输入的句子向量,z为输入的随机噪声,s为注意得分函数,W表示几层线性层,将句子向量映射到潜在空间中的向量;W(z)为生成器当前层下图像的特征图,在给定W(z)和X的情况下,计算αn。

4.一种基于生成式预训练语言模型的联想文本到图像生成装置,其特征在于,包括处理器及存储介质;

所述存储介质用于存储指令;

所述处理器用于根据所述指令进行操作以执行根据权利要求1至3任一项所述方法的步骤。

5.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3任一项所述方法的步骤。