欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022117006673
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合项目属性信息的序列推荐方法,其特征在于,包括如下步骤:

1)数据预处理和项目属性嵌入:

给定用户与系统的历史交互,序列推荐任务要求预测下一个交互的项目,若u表示用u户,u的历史交互V用公式(1)中的括号表示的顺序元组为:其中 表示用户u进行的第j次交互,也称为行为,每个交互的项目都简单地用项目ID和项目属性表示,如公式(2):k 1 2 m

其中ID∈I,代表项目词汇表中第k个项目的ID,I={ID ,ID ,...,ID}是系统中要考虑的所有项目ID的标识集,m是问题域中的项目的总数, 代表项目词汇表第k个项目的

1 2 r

属性集,J={Attr,Attr,...,Attr}是系统中所有项目属性的词汇表,r是问题域中的项目属性总数;

原始训练序列 的长度是不确定的,需要转换为固定长度的序列S=(S1,S2,...,Sn),n为模型能处理的最大长度,若序列长度大于n,取最近的n个项目,若序列长度小于n,则在序列左侧使用零填充,直到序列长度为n,因此n也是转换后所有定长序列的长度;

在将不定长序列转换为固定长度的序列后,将原始序列转换为嵌入序列,嵌入指嵌入向量,它是项目属性在推荐算法中的向量表示,嵌入层将不同类型的项目属性分开建模,将序列转化为项目的类别属性嵌入向量和ID嵌入向量,分别用于兴趣抽取模块和交叉预测模块;

(1)ID属性嵌入:

ID m×d

创建ID属性嵌入矩阵M ∈R ,m为项目的总数,d为嵌入向量的维度,根据序列S中项目ID ID n×d的ID,查找M 中对应的嵌入向量,将S转换为嵌入序列E ∈R ,零填充项的ID属性嵌入为常数零向量;

(2)类别属性嵌入:

CATE r×d

创建类别属性嵌入矩阵M ∈R ,r是项目属性总数,d为嵌入向量的维度,由于项目的类别属性是类别元素的集合,是一对多的关系,不能像ID属性嵌入一样直接查找,需先将S中第i个项目的类别属性进行Muti‑Hot编码,表示为向量 ei的j位置值为1,则Si拥有编号为j的类别元素,序列的类别属性嵌入表示为公式(3),零填充项的类别属性嵌入也为常数零向量:(3)位置嵌入:

原始的注意力机制不包含序列的位置信息,无法识别序列中项目的先后顺序,通过添n×d加位置编码可拟补这一不足,位置编码使用可学习的嵌入矩阵P∈R ,位置嵌入和ID属性嵌入及位置嵌入和类别属性嵌入的融合操作均为向量对应位置相加,如公式(4):添加位置嵌入后的类别嵌入表示为 ID属性嵌入表示为 ID属性嵌入和类别嵌入使用的位置嵌入矩阵不共享;

2)抽取兴趣类别:

兴趣抽取模块的主要结构是多头稀疏自注意力块,多头稀疏自注意力方法,是对多头自注意力方法的扩展,多头自注意力层和多层感知机两者串联在一起构成一个多头注意力块;

CATE d

兴趣抽取模块从输入的类别嵌入 中抽取用户的类别兴趣O ∈R ,输入 使用公式(5)获得查询向量Q、键向量K、值向量V:(·)

f(·)(x)=XW   (5),

其中 是可学习的投影矩阵,i代表第i个自注意力头,n是定长序列的长度,d为嵌入向量的维度,h为自注意力头的总数,在通过公式(6)获得注意力分数矩阵A:显式选择是在A上做稀疏化操作,如公式(7)所示,Aij为序列中项目i与项目j的注意力分数,ti为关于项目i的第k个最大注意力分数,k是超参数:然后对 做归一化,如公式(8):

为标准化分数,由于掩蔽函数 将小于top‑k的分数赋值为负无穷,其归一化分数即概率为0;

第i个头的值的聚合操作如公式(9)所示:

Ci=AiVi  (9),

多头自注意力将每个头的输出串联在一起,并进行线性投影得到输出,如公式(10),Wo是可学习的投影矩阵:MSA(X)=Concat(C1,...,Ch)Wo  (10),d×d d

多层感知机在多头自注意力层之间,FC(·)为全连接层,W∈R ,b∈R是可学习的投影矩阵和偏置,σ(·)为激活函数,如公式(11)所示:MLP(X)=FC(σ(FC(X))),FC(X)=XW+b  (11),多头自注意力和多层感知机上都使用Residual Connections方法防止训练时梯度消(l)失问题,使用Layer Normalization用来加速训练,并串联作为一个多头注意力块,H 为第(l)l块的输入,G 为该块多头注意力层的输出,如公式(12):CATE

输入的类别嵌入 在经过一个或多个多头稀疏自注意力块以后,输出O ,代表用户的类别兴趣,用于计算辅助损失函数及交叉预测模块预测兴趣项目;

3)推荐项目:

交叉预测模块的主要结构是多头交叉注意力块,多头交叉注意力块由交叉注意力块和多层感知机串联而成,自注意力方法使用序列内的信息聚合序列,而交叉注意力方法能够CATE引入额外的信息来聚合序列,交叉预测模块输入类别兴趣O 和ID嵌入 使用交叉注意ID d力方法,输出项目兴趣O ∈R;

CATE

交叉预测模块查询向量来自兴趣抽取模块的输出O ,而键向量和值向量则来自ID嵌入序列如公式(13):

线性变换f(·)(x)见公式(5),其投影矩阵与稀疏自注意力模块的投影矩阵不共享;

注意力矩阵计算过程如公式(6),多头聚合操作和多层感知机与多头注意力块一致,见ID公式(9)、(10)、(11)、(12),O 与项目ID嵌入向量的内积用于衡量用户对该项目的兴趣,内积越大,用户对该项目有兴趣的概率越大;

4)训练过程:

采用二元交叉熵损失函数进行模型优化,定义N为训练序列的数量,t为序列中的时刻,e[t+1]∈Iu作为正例,表示用户在t+1时刻交互的项目, 作为负例,表示随机抽取的用户在t+1时刻没有交互过的项目,Iu是用户u交互过的项目的集合,I是全部项目的集合,O[t]表示模型输出的t时刻的兴趣,lg是对数函数,σ是sigmoid函数,·为内积运算;

损失函数定义为公式(14),系统中所有序列的全部时刻模型输出的兴趣与正例和负例的二元交叉熵损失的和为:为使兴趣抽取模块学到有意义的兴趣表示,模型使用辅助损失函数,将兴趣抽取模块CATE CATE输出的O 、作为正例的类别嵌入序列e 和作为负例的随机抽取的类别嵌入序列 作ID为辅助损失函数的输入,同样的,目标损失函数将交叉预测模块输出的O 、作为正例的ID嵌ID入序列e 和作为负例的随机抽取的类别嵌入序列 作为输出,如公式(15):最终模型的损失函数为目标项目损失Ltarget与辅助损失Laux相结合,β是超参数,用于平衡目标损失和辅助损失,如公式(16):L=Ltarget+β*Laux   (16)。