1.一种基于扩散模型的自监督学习多模态推荐方法,其特征在于,包括下述步骤:将输入的用户原始ID嵌入、物品原始ID嵌入以及物品的图像和文本两个模态下的模态特征利用多模态推荐模型获得物品推荐列表,所述多模态推荐模型在训练时采用的损失函数包括自监督损失,且所述自监督损失的计算包括:将用户物品的归一化交互矩阵采用扩散模型生成用户物品协作图,且将用户物品协作图进行ID引导和提取模态语义共性以获得ID引导的协作图和各个模态引导的协作图,分别计算ID引导模态表示的损失和增强语义一致性的损失并求和作为自监督损失,其中取值为或,和分别表示图像模态和文本模态;
所述将输入的用户原始ID嵌入、物品原始ID嵌入以及物品的图像和文本两个模态下的模态特征利用多模态推荐模型获得物品推荐列表包括:分别对用户原始ID嵌入与物品原始ID嵌入进行相似图增强以获得更新后的用户ID嵌入与物品ID嵌入,将更新后的用户ID嵌入与物品ID嵌入通过图卷积得到协作视图嵌入;将各个模态下的模态特征投影后分别计算用户偏好以获得用户的模态特征、模态增强以获得物品的模态特征,将用户的模态特征、物品的模态特征通过图卷积得到各个模态偏好视图嵌入;将各个模态偏好视图嵌入正则化后与协作视图嵌入融合得到视图融合嵌入,将视图融合嵌入拆分得到最终的用户表示与物品表示,将最终的用户表示与物品表示进行内积得到每个用户对每个物品的评分,并针对每个用户选择评分靠前的K个物品作为得到的物品推荐列表输出。
2.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述将用户物品的归一化交互矩阵采用扩散模型生成用户物品协作图时,所述归一化交互矩阵的计算函数表达式为:,
其中,为用户物品的原始交互矩阵,为归一化度值矩阵;所述扩散模型根据输入的用户物品的归一化交互矩阵,采用下式所示的反向生成过程通过多次迭代生成用户物品协作图:,
其中,为时间步的数据分布,为时间步的数据分布,由反向预测得到,表示正态分布,为时间步的噪声,为时间步的扩散系数,为时间步的累积扩散系数,为时间步的累积扩散系数。
3.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述将用户物品协作图进行ID引导和提取模态语义共性以获得ID引导的协作图和各个模态引导的协作图的函数表达式为:,,
其中,为用户物品的交互矩阵,为拼接操作,和分别为用户的模态特征和物品的模态特征,和分别为用户原始ID嵌入与物品原始ID嵌入,使得ID引导的协作图和各个模态引导的协作图均由表示用户和物品的两个嵌入部分组成。
4.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述分别计算ID引导模态表示的损失和增强语义一致性的损失并求和作为自监督损失的函数表达式为:,,
,
,
,
其中,为ID引导模态表示的损失,为增强语义一致性的损失;和为中间变量,为模态集合,为本批次的数据集,为相似度函数,为温度系数,分别为ID引导的协作图和各个模态引导的协作图中用户的嵌入部分,分别为ID引导的协作图和各个模态引导的协作图中物品的嵌入部分,同理,为模态引导的协作图中用户的嵌入部分,为模态引导的协作图中物品的嵌入部分,用户和用户为本批次的数据集中的用户,物品和物品为本批次的数据集中的物品;分别为模态是图像模态和文本模态时引导的协作图中的用户的嵌入部分,为模态是文本模态时模态引导的协作图中用户的嵌入部分,分别为模态是图像模态和文本模态时引导的协作图中物品的嵌入部分,为模态是文本模态时模态引导的协作图中物品的嵌入部分。
5.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述多模态推荐模型在训练时采用的损失函数为:,
其中,为多模态推荐模型在训练时采用的损失函数,为贝叶斯损失,为自监督损失系数,为自监督损失。
6.根据权利要求1所述的基于扩散模型的自监督学习多模态推荐方法,其特征在于,所述对用户原始ID嵌入与物品原始ID嵌入进行相似图增强以获得更新后的用户ID嵌入与物品ID嵌入的函数表达式为:,
,
,
,
其中,和分别表示用户节点相似图与物品节点相似图,为用户物品的归一化交互矩阵,上标中的表示转置操作;所述将各个模态下的模态特征投影后分别计算用户偏好以获得用户的模态特征、模态增强以获得物品的模态特征的函数表达式为:,
,
,
其中,为用户在用户物品的原始交互矩阵上的邻居集,为邻居集的大小,为物品结合相似模态特征的物品后的嵌入表示,为投影到统一的嵌入空间中的物品的模态特征,为用于在相似模态特点的物品之间建立关联的模态语义图,为变换矩阵。
7.一种基于扩散模型的自监督学习多模态推荐系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~6中任意一项所述基于扩散模型的自监督学习多模态推荐方法。
8.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~6中任意一项所述基于扩散模型的自监督学习多模态推荐方法。
9.一种计算机程序产品,包括计算机程序或指令,其特征在于,该计算机程序或指令被编程或配置以通过处理器执行权利要求1~6中任意一项所述基于扩散模型的自监督学习多模态推荐方法。