欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024106445271
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S1、使用全局项目转换图捕获用户交互序列中项目之间的全局信息,定义一个基于规则的全局项目图,利用奇异值分解学习的全局项目图获取增强图,并通过图编码得到图嵌入;

S2、将用户的交互序列输入到嵌入层中,用多维椭圆高斯分布表示用户交互序列中的项目,生成用户交互序列中项目的均值和协方差的序列嵌入;

S3、将S2中生成的序列嵌入,输入到混合时间查询自注意力模块中,采用滑动窗口,通过时间衰减加权平均法计算查询向量,并将位置信息以偏置的形式添加到注意力权重的计算中,得到混合时间查询自注意力的输出,输出的结果为用户交互序列的均值和协方差的新序列嵌入;

S4、将S3中输出的新序列嵌入,引入前馈网络层,通过增加非线性,再进行残差连接、层归一化和随机丢失操作得到更新后的序列嵌入;

S5、将步骤S4中经前馈网络层更新后的序列嵌入,根据时间窗口的长度,定义为短期序列嵌入和长期序列嵌入;

S6、通过将S5中得到的短期序列嵌入和S1中得到的图嵌入进行融合得到新的短期序列嵌入,并将新的短期序列嵌入和S5中得到长期序列嵌入进行组合生成最终嵌入;

S7、根据S6输出的最终嵌入,利用Wasserstein距离来计算用户交互序列中的两个项目的分布之间的距离,作为排名分数,生成推荐列表;采用贝叶斯个性化排名损失作为基本损失函数,并引入考虑正负采样项目距离的正则化项以及全局信息编码损失对基本损失函数进行优化,来进行推荐任务。

2.根据权利要求1所述的一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S1的具体步骤如下:S1.1、定义用户的交互序列,将序列中的项目和项目之间的边更新权重设为,其中表示用户交互序列中第个项目,表示用户交互序列中第个项目,分数表示目标节点对其 k-跳邻居的重要性;

S1.2、对所有用户的交互序列重复S1.1操作,构建全局项目图,然后对两个节点和之间的边权值进行归一化:;

其中,为邻接矩阵,为归一化后的邻接矩阵,是中的节点的度;

S1.3、对进行SVD处理,得到增强图,SVD的表达式为:;

其中,和为标准正交阵,为对角阵;表示归一化后的邻接矩阵;

S1.4、以图的形式捕获全局信息,使用LightGCN的图编码方法来获得图的表示,得到图嵌入的表达式为:;

其中,为层的节点嵌入,表示图卷积的层数,表示邻接矩阵,表示归一化后的邻接矩阵。

3.根据权利要求1所述的一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S2的具体步骤如下:对于所有的项目,用多维椭圆高斯分布来描述项目,首先定义一个均值嵌入表和一个协方差嵌入表,其中d表示潜在维度的数量,V表示项目的数量;则用户交互序列中项目的均值和协方差的序列嵌入如下:;

其中,表示项目的均值的序列嵌入,表示项目的协方差的序列嵌入,表示用户交互序列中的第n项的均值嵌入,表示用户交互序列中的第n项的协方差嵌入,表示均值嵌入表的第n项,表示协方差嵌入表的第n项。

4.根据权利要求3所述的一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S3的具体步骤如下:S3.1、按如下公式获得时间查询嵌入:

,

其中,是归一化因子,确保权重之和为1;为第个元素的指数衰减权重,是用于控制注意力查询范围的超参数;表示在时间时的嵌入;

S3.2、采用Wasserstein距离来测量两个随机嵌入之间的距离;

给定用户的交互序列中的项目和,对应的随机嵌入分别为和,其中对于项目,,,和分别是用户交互序列中第i项的均值嵌入和协方差嵌入,和均为可学习的参数,ELU表示激活函数,diag表示提取对角矩阵;通过测量负的2-Wasserstein距离来定义注意力权重,并将位置信息以偏置的形式添加到注意力权重的计算中,得到注意力权重,计算公式如下:;

其中,为2阶Wasserstein距离,为注意力权重,是一个相对距离矩阵,表示位置索引,为调节参数,根据注意头的数量设置;

S3.3、每个项目都由一个包含均值和协方差的随机嵌入表示,利用高斯分布的线性组合的性质来聚合信息,公式如下:;

其中,为归一化后的注意力权重值,和分别表示均值的值向量和协方差的值向量,均是通过对初始序列嵌入进行线性变换得到的;表示聚合信息后的新的序列均值嵌入,表示聚合信息后的新的序列协方差嵌入,其中j的取值为1到n。

5.根据权利要求4所述的一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S4的具体步骤如下:S4.1、将S3中输出的新序列嵌入,引入前馈网络层,捕获更复杂的关系,前馈网络层首先通过一个多层感知机,然后再通过一个线性层,公式如下:;

其中,和分别为前馈网络层的均值输出和协方差输出,均为可学习的参数;

S4.2、使用残差连接、层归一化和随机丢失操作,使前馈网络层输出更新为:;

其中,表示更新后的序列均值嵌入,表示更新后的序列协方差嵌入。

6.根据权利要求1所述的一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S5中,将步骤S4中前馈网络层输出的新序列嵌入,根据时间窗口的长度,定义为短期序列嵌入和长期序列嵌入的方法为:时前馈网络层的输出,为短期序列嵌入;时前馈网络层的输出,为长期序列嵌入。

7.根据权利要求1所述的一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S6的具体步骤如下:S6.1、新的短期序列嵌入的获取公式如下:

;

其中,中表示步骤五得到短期序列嵌入,表示从步骤一得到的图嵌入,将这两部分进行层得到更新后的;

S6.2、采用集成查询嵌入的方法,将步骤6.1得到的新的短期序列嵌入和长期序列嵌入组合生成最终嵌入;公式如下:;

其中为新的短期序列嵌入;为长期序列嵌入;为一个可学习的超参数。

8.根据权利要求1述的一种基于全局信息和混合时间查询注意力机制的序列推荐方法,其特征在于,S7的具体步骤如下:(1)计算两个项目的分布之间的Wasserstein距离来预测排名分数,对于项目,下一个项目的预测得分按如下公式计算:;

(2)采用贝叶斯个性化排名作为基本损失函数,并引入考虑正负采样项目距离的正则化项以及全局信息编码损失,来对基本损失函数进行优化;

正则化项公式如下:

;

其中,,是用户访问的下一个项目,即正项目,是从用户交互序列中从未交互过的项目中随机抽样的负项目;表示用户交互序列中的第t项; 表示用户交互序列中第t个项目与正项目之间的距离,表示正项目和负项目之间的距离;全局信息编码损失公式如下:;

其中,是原始全局项目图经过图编码得到的嵌入,是增强图经过图编码得到的嵌入,表示样本数;

最终的损失函数为:

;

其中,表示用户的交互序列,表示logistic函数,为所有可学习的参数量,为一个超参数,和为两个超参数,用于控制两个约束项。