1.一种基于顺序依赖增强自注意力网络的序列推荐方法,其特征是按如下步骤进行:步骤一:获取用户集,并获取所述用户集中任意一个用户的交互序列,其中,表示用户的第t个交互项;表示用户u的交互序列的长度;从而由所有用户的交互序列构成项目集合;
步骤二:构建基于顺序依赖增强自注意力网络,包括:嵌入层、位置信息层、GRU模块、自注意力模块、前馈层和预测层;
步骤2.1、所述嵌入层利用项目向量矩阵将用户的交互序列转换为嵌入向量矩阵,且,其中,表示的嵌入向量表示;表示项目集合的长度;d表示项目嵌入向量的维度;
步骤2.2、所述位置信息层利用位置矩阵对嵌入向量矩阵进行相加处理,得到位置嵌入后的向量矩阵,且 ,其中,表示与位置矩阵中第t个位置向量相加后的向量表示;
步骤2.3:所述GRU模块利用式(1)-式(4)对向量矩阵进行处理,得到顺序及偏好变化信息矩阵;
(1)
(2)
(3)
(4)
式(1)-式(4)中,和表示重置门的权重矩阵,表示第t-1个位置的状态信息,表示重置门的第t个位置中间向量,表示sigmoid激活函数;表示元素乘,表示更新门的第t个位置中间向量;和表示更新门的权重矩阵,表示是双曲正切函数,表示第t个位置的候选状态信息;和表示候选状态的待学习的权重矩阵;表示第t个位置捕获到的顺序依赖信息和用户偏好变化信息;
步骤2.4:所述自注意力模块利用式(5)-式(7)对向量矩阵和顺序依赖信息和用户偏好变化信息矩阵进行处理,得到自注意力信息矩阵:(5)
(6)
(7)
式(5)中,、是自注意力的查询向量的两个权重矩阵,、是自注意力的值向量的两个权重矩阵;表示第t个位置的交互项与第i个位置的交互项的注意力得分;是第t个位置的交互项与第i个位置的交互项的注意力得分的权重值;和分别是第i个位置嵌入向量和第i个位置的顺序及偏好变化信息向量的权重矩阵,表示第t个位置的输出自注意力信息向量;表示第i个位置捕获到的顺序依赖信息和用户偏好变化信息,表示第t个位置的交互项与第k个位置的交互项的注意力得分;
步骤2.5、所述前馈层利用式(8)对进行处理,得到前馈信息矩阵:(8)
式(8)中,和是权重矩阵;和是偏置;是激活函数;
步骤2.6、利用式(9)对进行归一化操作后,得到归一化后的归一化信息矩阵,再输入所述前馈层中进行处理,得到的前馈信息矩阵并与进行残差连接后,得到第t个位置中间序列表示:(9)
式(9)中,和表示的均值和方差;和是比例因子和偏置;表示常数;
步骤2.7、将第t个位置中间序列表示输入所述自注意力模块中,并与顺序依赖信息和用户偏好变化信息矩阵一起进行处理,得到层叠自注意力信息矩阵再经过步骤2.5和步骤2.6的处理,从而得到第t个位置最终序列表示;
步骤2.8、所述预测层利用式(10)对第t个位置最终序列表示进行计算,得到用户u的第t个位置交互项经过顺序依赖自注意力网络后的输出对第i个项目的得分:(10)
式(10)中,表示项目向量矩阵中第i个项目的嵌入向量表示;表示第i个项目的相关性得分;T表示转置;
步骤2.9、利用式(11)构建二元交叉熵的目标函数:
(11)
式(11)中,表示所有用户的交互序列集合;表示预期的第z个位置对应的正样本号,正样本表示用户u预测交互的下一个项目;表示第z个位置对应的负样本号,负样本表示没有在用户u交互序列中出现的项目; 表示第z个位置正样本号对应的正样本的得分;表示第z个位置负样本号对应的负样本的得分;
步骤2.10、利用反向传播和梯度下降法对所述基于顺序依赖增强自注意力网络进行训练,并使得所述目标函数最小以更新网络参数,当迭代次数达到最大迭代次数时停止训练,从而得到最优推荐模型用于对所输入的交互序列输出候选项的得分,并从中选取得分最大的前top个项目进行推荐。
2.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1所述序列推荐方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
3.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1所述序列推荐方法的步骤。