1.一种根据图像反向生成人像试衣效果的虚拟试穿方法,其特征在于,包括:获取衣服图像和对应的衣服数据,所述衣服图像包括衣服原始状态图像和衣服变形后状态的图像,对衣服图像进行预处理;获取人物图像和对应的人物数据,所述人物数据包括人物的姿势、肢体结构,根据衣服数据对人物图像进行标注;
构建虚拟试穿模型,所述模型包括扩散模型、生成器、三个编码器、判别器;三个所述编码器分别提取输入的衣服图像、人物图像、衣服风格数据的特征,所述生成器包括外观流变形模块,所述外观流变形模块用于生成预测的变形后的衣服图像;
将预处理后的衣服图像和标注后的人物图像作为训练集,使用训练集训练所述虚拟试穿模型得到训练完成的虚拟试穿模型;
训练所述虚拟试穿模型时,对预处理后的衣服图像加噪并输入所述扩散模型和判别器生成图像,生成的图像为包含人物和变换好的目标衣服的图像;对所述包含人物和变换好的目标衣服的图像进行边缘柔和化处理,检测所述包含人物和变换好的目标衣服的图像中的人物与衣服的遮挡信息,将遮挡信息反馈到对应图像的对应位置;
获取需要进行虚拟试穿的衣服图像和人物图像并输入训练完成的虚拟试穿模型,得到虚拟试穿结果;
其中所述对预处理后的衣服图像加噪并输入所述扩散模型和判别器生成图像,包括:标注预处理后的衣服原始状态图像中除了衣服以外的区域并加入噪声,预处理后的衣服变形后状态的图像不变;将加入噪声后的图像输入所述扩散模型开始去噪生成图像,每一步去噪后都计算当前的重构损失,同时计算衣服风格数据的损失,逐步引导生成结果;将去噪生成的图像输入判别器计算对抗损失,去噪生成图像过程中的总损失结合重构损失、衣服风格数据的损失、对抗损失得到;
检测所述包含人物和变换好的目标衣服的图像中的人物与衣服的遮挡信息,包括:计算遮挡掩码为:
M
其中,M
2.根据权利要求1所述的根据图像反向生成人像试衣效果的虚拟试穿方法,其特征在于:所述虚拟试穿模型的整体结构为UNet网络,提取人物图像的特征的编码器为ResNet50,提取衣服图像的特征的编码器为ResNet34,提取衣服风格数据的特征的编码器为Bert。
3.根据权利要求1或2所述的根据图像反向生成人像试衣效果的虚拟试穿方法,其特征在于:训练所述虚拟试穿模型时,整体损失为:其中,其中σ()是监督函数,用于确保前一项损失越小时对后一项损失的加权系数越大;L
4.根据权利要求3所述的根据图像反向生成人像试衣效果的虚拟试穿方法,其特征在于:所述变形约束损失的计算方法为:L
其中,I
5.根据权利要求3所述的根据图像反向生成人像试衣效果的虚拟试穿方法,其特征在于:所述衣物一致性损失的计算方法为:其中,I
6.根据权利要求3所述的根据图像反向生成人像试衣效果的虚拟试穿方法,其特征在于:所述局部语义损失的计算方法为:其中,ω
7.根据权利要求3所述的根据图像反向生成人像试衣效果的虚拟试穿方法,其特征在于:所述感知逼真度损失的计算方法为:L
其中,I
8.一种根据图像反向生成人像试衣效果的虚拟试穿系统,其特征在于,包括:数据获取模块,用于获取衣服图像和对应的衣服数据,所述衣服图像包括衣服原始状态图像和衣服变形后状态的图像;获取人物图像和对应的人物数据,所述人物数据包括人物的姿势、肢体结构;
数据处理模块,用于对衣服图像进行预处理,根据衣服数据对人物图像进行标注;
虚拟试穿模型构建模块,用于构建包括扩散模型、生成器、三个编码器、判别器的虚拟试穿模型,三个所述编码器分别提取输入的衣服图像、人物图像、衣服风格数据的特征,所述生成器包括外观流变形模块,所述外观流变形模块用于生成预测的变形后的衣服图像;
模型训练模块,用于将预处理后的衣服图像和标注后的人物图像作为训练集,使用训练集训练所述虚拟试穿模型得到训练完成的虚拟试穿模型;训练所述虚拟试穿模型时,对预处理后的衣服图像加噪并输入所述扩散模型和判别器生成图像,生成的图像为包含人物和变换好的目标衣服的图像;对所述包含人物和变换好的目标衣服的图像进行边缘柔和化处理,检测所述包含人物和变换好的目标衣服的图像中的人物与衣服的遮挡信息,将遮挡信息反馈到对应图像的对应位置;所述对预处理后的衣服图像加噪并输入所述扩散模型和判别器生成图像,包括:标注预处理后的衣服原始状态图像中除了衣服以外的区域并加入噪声,预处理后的衣服变形后状态的图像不变;将加入噪声后的图像输入所述扩散模型开始去噪生成图像,每一步去噪后都计算当前的重构损失,同时计算衣服风格数据的损失,逐步引导生成结果;将去噪生成的图像输入判别器计算对抗损失,去噪生成图像过程中的总损失结合重构损失、衣服风格数据的损失、对抗损失得到;
检测所述包含人物和变换好的目标衣服的图像中的人物与衣服的遮挡信息,包括:计算遮挡掩码为:M
其中,M
虚拟试穿模块,用于使用所述数据获取模块获取需要进行虚拟试穿的衣服图像和人物图像,使用数据处理模块处理需要进行虚拟试穿的衣服图像和人物图像并输入训练完成的虚拟试穿模型,得到虚拟试穿结果。