1.一种元宇宙产品推荐方法,其特征在于,包括:
S10:获取元宇宙中所有3D模型的空间特征向量集合,其具体包括:获取每个3D模型对应的2D投影集合,将所述2D投影集合中的2D投影输入至训练好的元宇宙产品推荐模型中的卷积神经网络中,得到3D模型的模型特征向量组;
将所述模型特征向量组中的模型特征向量分别输入至所述训练好的元宇宙产品推荐模型中的VSAM特征提取网络和所述训练好的元宇宙产品推荐模型中的LSTM特征提取网络中,对所述VSAM特征提取网络和所述LSTM特征提取网络的输出进行拼接得到所述3D模型的空间特征向量;
基于所有3D模型的空间特征向量得到空间特征向量集合;
S20:获取待匹配的2D图像,并将所述2D图像输入所述卷积神经网络中,输出图像特征向量;
S30:将所述图像特征向量和所述空间特征向量集合输入至所述训练好的元宇宙产品推荐模型中的生成对抗网络中进行对抗性学习,输出目标空间特征向量集合;基于所述图像特征向量计算所述2D图像的质心;对所述目标空间特征向量集合中的目标空间特征向量进行聚类,输出3D模型数据簇集;计算所述3D模型数据簇集中每个3D模型数据簇与所述2D图像属于同一类别的概率,并剔除所述概率小于预设阈值的3D模型数据簇,输出目标3D模型数据簇集,基于所述目标3D模型数据簇集中的目标空间特征向量得到更新后的目标空间特征向量集合;
S40:分别计算所述图像特征向量和所述目标空间特征向量集合中每个目标空间特征向量的相似度,将相似度最高的目标空间特征向量对应的3D模型作为所述训练好的元宇宙产品推荐模型的输出。
2.根据权利要求1所述的元宇宙产品推荐方法,其特征在于,步骤S30前还包括:将所述图像特征向量和所述空间特征向量集合中的空间特征向量分别输入至所述训练好的元宇宙产品推荐模型中的第一线性层和所述训练好的元宇宙产品推荐模型中的第二线性层,基于所述第一线性层和所述第二线性层的输出得到原始特征分离后的图像特征向量和空间特征向量集合。
3.根据权利要求2所述的元宇宙产品推荐方法,其特征在于,所述基于所述第一线性层和所述第二线性层的输出得到原始特征分离后的图像特征向量和空间特征向量集合包括:将所述图像特征向量分别输入至所述第一线性层和所述第二线性层中,输出基于图像特征向量的领域不变特征向量和领域特定特征向量;
基于所述基于图像特征向量的领域不变特征向量和所述基于图像特征向量的领域特定特征向量得到原始特征分离后的图像特征向量;
将所述空间特征向量分别输入至所述第一线性层和所述第二线性层中,输出基于空间特征向量的领域不变特征向量和领域特定特征向量;
基于所述基于空间特征向量的领域不变特征向量和所述基于空间特征向量的领域特定特征向量得到原始特征分离后的空间特征向量,基于所有所述原始特征分离后的空间特征向量得到原始特征分离后的空间特征向量集合。
4.根据权利要求3所述的元宇宙产品推荐方法,其特征在于,所述原始特征分离后的图像特征向量为:其中,d
所述原始特征分离后的空间特征向量为:
其中,
5.根据权利要求4所述的元宇宙产品推荐方法,其特征在于,所述2D图像的质心为:其中,
所述3D模型数据簇与所述2D图像属于同一类别的概率计算公式为:其中,
6.根据权利要求5所述的元宇宙产品推荐方法,其特征在于,所述训练好的元宇宙产品推荐模型的获取包括:将训练集中的2D图像和所述2D图像对应的3D模型的空间特征向量输入至元宇宙产品推荐模型中进行迭代训练,直到第一损失函数最小,得到训练好的元宇宙产品推荐模型;
其中,所述第一损失函数为:
其中,第二损失函数
其中,n
其中,
其中,H表示训练集中2D图像的类别总数,
7.根据权利要求1所述的元宇宙产品推荐方法,其特征在于,所述获取每个3D模型对应的2D投影集合包括:根据预设角度在3D模型周围放置N个虚拟摄像机,所述N个虚拟摄像机均正对所述3D模型的中心,基于所述N个虚拟摄像机的输出生成N个2D投影,得到所述3D模型对应的2D投影集合。
8.一种元宇宙产品推荐装置,其特征在于,包括:
数据获取及预处理模块,用于获取元宇宙中所有3D模型的空间特征向量集合,其具体包括:获取每个3D模型对应的2D投影集合,将所述2D投影集合中的2D投影输入至训练好的元宇宙产品推荐模型中的卷积神经网络中,得到3D模型的模型特征向量组;
将所述模型特征向量组中的模型特征向量分别输入至所述训练好的元宇宙产品推荐模型中的VSAM特征提取网络和所述训练好的元宇宙产品推荐模型中的LSTM特征提取网络中,对所述VSAM特征提取网络和所述LSTM特征提取网络的输出进行拼接得到所述3D模型的空间特征向量;
基于所有3D模型的空间特征向量得到空间特征向量集合;
图像特征提取模块,用于获取待匹配的2D图像,并将所述2D图像输入所述卷积神经网络中,输出图像特征向量;
跨域特征对齐模块,用于将所述图像特征向量和所述空间特征向量集合输入至所述训练好的元宇宙产品推荐模型中的生成对抗网络中进行对抗性学习,输出目标空间特征向量集合;基于所述图像特征向量计算所述2D图像的质心;对所述目标空间特征向量集合中的目标空间特征向量进行聚类,输出3D模型数据簇集;计算所述3D模型数据簇集中每个3D模型数据簇与所述2D图像属于同一类别的概率,并剔除所述概率小于预设阈值的3D模型数据簇,输出目标3D模型数据簇集,基于所述目标3D模型数据簇集中的目标空间特征向量得到更新后的目标空间特征向量集合;
模型获取模块,用于分别计算所述图像特征向量和所述目标空间特征向量集合中每个目标空间特征向量的相似度,将相似度最高的目标空间特征向量对应的3D模型作为所述训练好的元宇宙产品推荐模型的输出。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的元宇宙产品推荐方法的步骤。