1.一种时间间隔感知的多模态序列推荐方法,其特征在于,包括:S1、提取项目中模态的文本特征、图片特征以及ID嵌入,并提取用户在模态上的交互序列的时间间隔表征,表示ID、表示文本、表示图片;
S2、将时间间隔表征加到模态表征上以得到时间间隔感知的模态表征,即;
S3、建立用户基于模态学习得到的用户表征 ;
其中,表示在模态上使用的用户编码器,表示该用户编码器中的可学习参数;
S4、将用户在每个模态上的偏好分数聚合在一起得到总体偏好分数,根据总体偏好分数进行推荐;
其中,用户对于项目在每个模态m上的偏好分数计算如下:,是项目在模态上的项目表征,。
2.根据权利要求1所述的一种时间间隔感知的多模态序列推荐方法,其特征在于,步骤S1中,采用ResNet50提取图片特征,采用Recformer提取文本特征。
3.根据权利要求1所述的一种时间间隔感知的多模态序列推荐方法,其特征在于,步骤S1中,对文本特征、图片特征、ID嵌入以及时间间隔表征具体公式如下:;
;
;
;
其中,TextExtractor()是文本编码器,用于从文本信息中提取文本特征,ImageExtractor()是图片编码器,用于从图片信息中提取图片特征,Embedding()是嵌入矩阵,用于给每个项目分配ID嵌入,TimeIntervalEncoder()是时间编码器,用于从给定时间戳的交互序列中提取时间编码,、和分别表示项目的文本信息、图片信息和ID信息。
4.根据权利要求1所述的一种时间间隔感知的多模态序列推荐方法,其特征在于,步骤S1中,;
,是时间感知的位置编码矩阵。
5.根据权利要求4所述的一种时间间隔感知的多模态序列推荐方法,其特征在于,;
式中,表示表征的维度且要求是可以被6整除的整数,是大小为6*6的零矩阵。
6.根据权利要求1所述的一种时间间隔感知的多模态序列推荐方法,其特征在于,步骤S4中,总体偏好分数。