欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021106607018
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-07-20
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种姿态和纹理引导的时尚服装设计合成的方法,其特征在于包括如下步骤:

步骤(1)、借助现有的时尚数据集,收集任务的数据,并对数据进行预处理,构建时尚图像、姿态信息、语义信息数据组;

步骤(2)、在现有时尚数据集下,以生成自然准确的时尚图像为目标,构建两阶段生成模型;生成模型包括语义布局生成网络和纹理生成网络,实现纹理有效转移,生成多样性的时尚图像;

步骤(3)、在最小化对抗损失、交叉熵损失、像素级损失、感知损失及风格损失下,利用收集到的数据组训练语义布局生成网络和纹理转移网络;

步骤(4)、通过反向传播算法对步骤(3)中的生成模型中的网络参数进行训练,直至整个模型收敛,生成对应的时尚图像;

步骤(1)所述的构建时尚图像、姿态信息、语义信息数据组,是指对于对应的时尚图像数据,使用最先进的姿态评估器从时尚图像中估计人的姿态,计算出的人的姿态信息包含

18个关节坐标点;另外,使用先进的人体解析器来计算一个包含20个标签的人体语义信息,每个标签代表人体的特定部分;

步骤(2)所述的构建两阶段生成模型,包括语义布局生成网络和纹理生成网络,实现纹理有效转移,生成多样性的时尚图像,第一阶段:语义布局生成网络的具体实现如下:在语义布局生成网络中,目标是将引导姿态p映射到一系列人的语义布局{H1,H2,....,HN};这些语义布局提供了充分的人体形状和服装结构的先验知识;

使用姿态信息以及对应的语义信息作为输入,学习生成多样化的语义信息;语义布局生成网络建立在BicycleGAN模型的基础上,语义布局生成网络包括一个条件变分自编码神经子网络和一个条件潜在回归神经子网络;

条件变分自编码神经子网络使用姿态信息和语义信息一起作为输入,使用编码器处理语义信息,编码得到控制特征的潜在向量后,与姿态信息一起输入生成器,生成对应的重构语义信息;使用KL损失约束潜在向量服从高斯分布,方便在测试时采样;

条件潜在回归神经网络使用姿态信息和随机采样的服从高斯分布的向量作为生成器的输入,在判别器的约束下生成真实的语义布局,通过使用编码器对生成的语义布局进行处理,使用L1损失约束生成的向量与原有的服从高斯分布的向量,保证一对一的生成,进一步实现多样化语义信息的输出。

2.根据权利要求1所述的一种姿态和纹理引导的时尚服装设计合成的方法,其特征在于第二阶段:纹理生成网络具体实现如下:在纹理生成网络中,目标是设计一个纹理生成网络来生成经过语义布局生成网络转换后的语义布局上的纹理,其中服装区域的合成纹理要求与引导纹理示例一致,合成人体外观应具有感知说服力;语义布局生成网络的多样化的语义布局输出为纹理生成网络提供了多模态的信息输入;

将上下装的纹理生成分开处理,分别生成上装和下装,将纹理块、纹理块区域掩膜、以及服装区域掩膜作为输入,分别通过编码器、纹理生成块和解码器以及Patch‑GAN判别器实现纹理生成网络;编码器对输入的纹理块进行解码,纹理生成块将局部纹理特征转移到对应的服装区域,解码器实现将重构的特征解码为对应的时尚图像;同时加入了Patch‑GAN判别器与编码器、纹理生成块和解码器共同训练;

所述的纹理生成网络的编码器:

编码器采用普通的Encoder结构,对输入的纹理块进行解码,与其他方法相比,我们在Encoder中使用部分卷积代替标准卷积层,避免产生模糊、颜色差异;在每个位置的部分卷积表示为:其中X为当前卷积滑动窗口的特征值,M为纹理块区域掩膜对应当前卷积窗口的二进制掩膜,W为卷积滤波器权值,b为偏置;sim(M)为二进制掩膜内值为1的个数;

在每个部分卷积操作之后,更新掩膜如下:如果当前卷积窗口的二进制掩膜内至少有一个有效的输入值,那么将该窗口卷积操作后的掩膜的对应位置标记为有效,表示为:

3.根据权利要求1所述的一种姿态和纹理引导的时尚服装设计合成的方法,其特征在于引入了纹理生成块,通过使用注意力地图重构现有的编码器输出的纹理特征;通过计算纹理特征块间余弦值相似度,形成相似度矩阵,并使用softmax函数激活得到注意力地图,从而实现从已有纹理特征块内复制特征信息,从而生成服装缺失部分的纹理;为了更好地学习纹理之间的相关度,使用相比重构特征更高一层的特征来计算特征之间的余弦相似度;相似度矩阵计算如下:和 分别是提取的纹理特征 中的第i块纹理特征块和第j块纹理特征块,而 为

与 的相似度评分;应用softmax函数激活并获得第i块纹理特征块的初始注意力图l按照相似度计算公式,从纹理特征 中提取出整个纹理特征的初始注意力图AS 后,使用注意力图通过反卷积操作分别对纹理特征内的每一块进行重构:其中, 是纹理特征内提取的第i块, 是纹理特征内提取的第j块;通过注意力得

分重构所有块后,最终得到重构后的特征 其中l∈[1,L‑1],L为编码器输出的特征数,l为对应的特征层序号;之后, 通过四组不同速率的扩张卷积进一步细化。

4.根据权利要求2或3所述的一种姿态和纹理引导的时尚服装设计合成的方法,其特征在于所述的纹理生成网络的解码器:将SPADE结构与Decoder结构相结合,实现了对人体信息的引入,以及通过语义信息进一步对生成服装形状进行约束,将编码后重构的纹理生成的特征和语义信息结合并解码为对应的时尚图像;空间自适应归一化的计算过程如下所示:其中,对于输入的语义布局图Hs,通过卷积提取特征,再分别通过两个卷积层得到归一化的缩放系数 和偏置项 其中x、y、c分别为特征的高度、宽度和通道数,n为参与训练的样本数; 和 分别为输入特征 的均值和标准差;计算公式如下所示,这部分和BN中的计算一样;

其中H、W、C分别为语义布局输入的高度、宽度和通道数;x、y、c分别为输入特征的高度、宽度和通道数,n为参与训练的样本数;N为参与训练的样本数。

5.根据权利要求4所述的一种姿态和纹理引导的时尚服装设计合成的方法,其特征在于步骤(3)具体实现如下:从不同的方面采用多种损失来进行训练,即对抗性损失、交叉熵损失、像素级损失、感知损失和基于gram矩阵的风格损失;

语义布局生成网络的总体损失定义如下:

其中,前三项分别对应条件变分自编码器生成对抗网络的目标函数,后两项分别对应条件潜在回归生成对抗网络的目标函数;λvae=2,λseg=3,λkl=0.01,λgan=2,λlatent=30分别为各损失函数的参数;生成器的最后一层使用softmax激活,并采用交叉熵损失来预测人的语义布局;在语义布局转换中,交叉熵损失约束像素级精度,定义如下:其中H、W、C分别为语义布局输入的高度、宽度和通道数;Hs是生成的语义布局, 是对应的真实语义布局;

纹理生成网络的总体损失定义如下:

其中, 是对抗损失, 是生成的时尚图像 和真实图像 之间的L1损失, 是

和 之间的感知损失,而 是 和 之间的风格损失;λadv=0.1,λrec=6,λper=0.5,λsty=50分别为各损失函数的参数。