1.一种序列推荐的不确定性感知对比学习方法,其特征在于:包括,构建模型嵌入层;
确定基本序列编码器;
计算偶然不确定性感知对比学习损失,计算认知不确定性感知集成学习损失,得到模型的最终预测输出;
计算主要推荐任务的损失;
模型反向传播梯度更新模型参数;
所述构建包括,将用户和商品的集合表示为U和L,用户和商品的数量分别为|U|和|L|,构建用户u的交互序列u u
其中, 表示用户u交互过的第t个商品,t∈{1,2,…,|S|},|S|表示交互序列的长度;
指定一个最大序列长度N统一输入序列的长度,当序列的长度大于N时进行裁剪,当序列长度不足N时,在前面补‘pad’标记;
所述嵌入层包括,使用一个查找表将电商平台中所有的商品ID转换为嵌入向量,通过|I|×D保持一个嵌入矩阵E∈R ,将高维独热编码投影到低维密集表示上,所述嵌入矩阵为:E|I|×D∈R ;
其中D是嵌入大小,|I|表示所有商品的数目,|I|xD表示这是一个|I|行D列的矩阵;
给定用户u的交互序列表示为 通过矩阵中的商品ID进行索引得u N×D
到对应的嵌入矩阵e∈R ;
矩阵的输入:每一个用户的交互商品ID序列u N×D
矩阵的输出:用户的交互商品序列对应的嵌入表示e∈R ;
所述基本序列编码器包括,
选择SASRec作为骨干模型,通过堆叠多个Transformer编码器对用户交互序列进行建l‑1 l模,给定第(l‑1)层的序列表示H ,Transformer编码器在第l层的输出H如下,l hH=FFN(Concat(head1,…,headh)W)h D×D
其中FFN表示前馈神经网络,h表示head的数目, W∈R 表示投影矩阵, 表示查询矩阵在第i层的表示, 表示键矩阵在第i层的表示, 表示值0
矩阵在第i层的表示,Concat表示将矩阵按照嵌入维度进行拼接,使用序列嵌入表示E 和位
0 0
置编码P的总和作为模型的输入H,从公式中省略正则化策略,注意力机制被定义为,其中Q,K,V分别表示查询、键、值, 表示缩放因子;
l‑1
基本序列编码器输入:用户的交互商品序列对应的第l‑1层嵌入表示H ;
l
基本序列编码器输出:经过基本序列编码器编码得到的用户交互序列的第l层表示H;
所述注意力机制包括,
每个自注意力层附加一个可训练的二进制掩码,以修剪嘈杂或与任务无关的注意力,(l) n×n对于第l个自注意层,引入一个二元矩阵Z ∈{0,1} ,其中 表示物品x和物品y之间的注意力连接是否存在,x,y表示二元矩阵的第x行第y列,x,y∈{1,2,…,n},第l个自注意力层变为:(l) (l) (l)
M =A Z
(l) (l) (l) (l) (l)Attention(Q ,K ,V )=M V(l) (l) (l)
其中A 是原始的全注意力,M 表示稀疏注意力,Z 能够为不相关的依赖项产生恰好为零的注意力分数,从而提高可解释性,可微分掩码通过gumbel‑softmax从输入分布中采样二进制单热向量,并应用重新参数化技巧使其可微分,如下所示:(l) l
Z =GumbelSoftmax(H)(l)
其中Z 表示经过gumbel‑softmax采样与重参数化之后得到的可微分掩码;
l‑1
输入:用户的交互商品序列对应的第l‑1层嵌入表示H ,输入到经过可学习掩蔽之后的序列编码器中;
(l)
输出:经过可学习掩蔽之后得到的第l层结果Z ;
所述偶然不确定性感知对比学习包括,给定用户u的交互序列,得到对应的两个增广序i u j u列S=aug'(S),S =aug”(S),增强是通过从合适的数据增强中随机选择aug',aug”获得的,将用户的商品交互序列进行随机的掩蔽、删除、或者重排序,从而得到原始交互序列的i j两个增强版本的序列S和S;
i j
所述偶然不确定性感知对比学习还包括,将两个增强序列S 和S 馈送到编码器网络以输出用户表示Hi和Hj,表示用户由M个独立子网络 进行转换;
其中gm表示独立的子网络,具体使用的是多层感知机;
通过计算得到M个不同的嵌入向量 修改传统的自监督损失并将Hi和Hj替换为平均值 m=1,...M,对M个子网络生成的嵌入进行平均以提高预测性能,最终的对比损失表示如下:其中τ是控制对比学习强度的温度, 是从批次中随机抽取的一个序列k的整体表示,应用点积作为相似函数sim,N表示随机序列k的总数目,exp表示以自然常数e为底的指数函数;
输入:输入序列经过数据增强之后的两个表示Hi和Hj,分别输入到偶然不确定性感知对比学习模块中;
输出:偶然不确定性对比学习损失Lssl;
所述预测包括,
将Transformer编码器 最后一层的嵌入作为用户偏好的最终预测,并计算与所有item embedding的相似度,得到所有item的下一个位置的预测概率如下:其中 表示用户可能与之交互的所有商品的概率;
u
输入:序列S经过前面的编码之后得到的最终的序列表示 输入到预测层中;
输出:预测层输出所有商品中是下一个点击商品的概率所述计算主要推荐任务的损失包括,序列推荐的目标是根据用户在电商平台中的历史交互序列Su,预测用户u将要点击的下一个 商 品 ,将 序 列 拆 分 为 一组 子 序 列和 目标 如 下 :其中|Su|表示Su的长度,|Su|表示Su序列的长度,上标表示对这个序列截取的范围, 而 是 的目标标签;
使用交叉熵损失计算主要推荐任务的损失,如下所示:其中 表示基于 的预测交互概率子序列将推荐任务的损失添加到两个不确定性的损失中进行联合优化,以对模型进行多任务学习,最终的目标函数如下,其中,λ1和λ2是超参数,Ldiv是认知不确定性损失,公式中的优化问题通过梯度下降算法求解;
输入:用户交互序列编码之后的最终表示 输入到候选集推荐模块中;
输出:当前用户推荐的商品。
2.如权利要求1所述的一种序列推荐的不确定性感知对比学习方法,其特征在于:所述认知不确定性感知集成学习损失包括,为了缓解模型在拟合数据过程中产生的认知不确定性问题,引入集成学习的思想来综合考虑模型的多个认知方面;
设计一个新的损失函数,用于在主要推荐任务的子网络训练期间鼓励多样性,将多样m性正则化项Ldiv定义为嵌入向量 之间标准差差异,其中,H 表示第m个子网络输出2
的嵌入向量,标准差是方差σ的平方根;
其中ε>0是防止数值不稳定性的小标量,表示M个子网络的输出表示的平均值,M表示m子网络的总数目,H表示第m个子网络输出的嵌入向量。
3.如权利要求2所述的一种序列推荐的不确定性感知对比学习方法,其特征在于:所述认知不确定性感知集成学习损失还包括,多样性正则化函数表示如下:2
Ldiv=max(0,α‑σ)
多样性损失的目的是通过强制元素标准偏差接近α>0来鼓励子网络之间的分歧,从而防止嵌入折叠到相同的向量,其中,α是人为设置的超参数,在代码中手动给出;
u
输入:输入序列S经过多个子网络之后的输出 输入到认知不确定性感知集成学习模块中;
输出:认知不确定性损失Ldiv。