1.一种利用多属性多行为信息的序列推荐方法,其特征在于,包括如下步骤:
1)数据预处理和嵌入处理:
定义系统中所有用户的集合为
对于用户
由于不同用户的活跃程度不同,用户的历史交互序列的长度也会不同,而模型只接受定长的序列,所以需要将不定长的交互序列转换为定长序列;定义n为模型能处理的最大长度,即序列长度,若序列长度大于n,取最近的n个项目;若序列长度小于n,则在序列左侧使用零填充,直到序列长度为n;
在将不定长序列转换为固定长度的序列后,将交互序列S项目ID序列
2)抽取用户多行为下的属性兴趣:
该步骤通过多行为融合属性抽取模块实现,多行为融合属性抽取模块由多个多行为多头自注意力子层和多行为多层感知机子层堆叠而成,该模块的输入为属性嵌入序列和行为序列,输出是该行为序列下的融合属性兴趣序列,为了能够充分捕获用户在每一个属性上的兴趣,为每一种属性都构建独立的自注意力模块,每个自注意力模块只负责处理一种属性信息,从而准确获得隐藏在属性信息中的用户兴趣;
(1)多行为多头自注意力子层:
假设属性f
由于注意力方法无法区分序列的前后关系,使用旋转位置嵌入为查询向量Q、键向量K、值向量V注入位置信息,注意力头的缩放点积注意计算如公式(2):W
多头的设计能在多个维度上进行关注,在输出前将多个头聚合;定义(2)多行为多层感知机子层:
多头自注意力子层聚合方式是基于注意力得分的线性加权和,需要使用多层感知机拟补非线性;为了对行为语义建模并进行特征转换,为每种行为类型指定了不同的多层感知机子层,定义X为多层感知机的输入,多层感知机层见公式(6):多行为多头自注意力层和连接操作多行为多层感知机层之间通过层归一化和残差连接,见公式(7)、(8)G
H
(3)融合属性兴趣:
最后一层多行为多层感知机层的输出作为该属性序列的属性,其中包含了所有行为下的输出;根据交互序列每一次交互的行为类型选择相应行为类型的兴趣输出,令结果是输出与行为序列相对应的融合属性兴趣,融合属性兴趣和行为序列将进入下一步预测指定行为下的用户项目兴趣;
3)预测用户多行为的项目兴趣:
这一步是为了预测指定行为下的用户项目兴趣,称为多行为项目预测模块;融合属性兴趣代表用户大致的兴趣偏好,但不能用来预测用户在具体项目上的偏好,根据融合属性兴趣考察序列中每一个项目的相似性,使用注意力机制聚合相似性大的项目,多层感知机进行特征变换,多行为项目预测模块由一个多行为交叉注意力层和一个多行为多层感知机组成,模块的输入是融合属性兴趣计算注意力分数的方法同上,同样需要考虑查询向量Q和键向量K的行为类型关系,见公式(2),行为项目预测模块同样具有多行为多层感知机子层,见公式(6),多行为多层感知机子层输出全部行为的项目兴趣,根据行为序列选择相应行为类型的输出,作用户的项目兴趣
4)指定用户行为的项目兴趣,计算其准确度:
采用二元交叉熵损失函数进行模型优化,令t时刻模型的输出为O定义t为序列中的时刻,其总数即序列的长度N,序列的总数即用户的总数最终的损失为各属性的损失和项目损失的和,见公式(13):
5)利用深度学习方法,学习参数,更新模型:
使用常用的梯度下降方法,即多轮的参数方向传播来不断优化模型,优化器选择Adam。