欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021107589708
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于空间感知的transformer协同过滤方法,其特征在于,包括嵌入层、隐藏层和预测层,具体步骤如下:

S1、嵌入层对输入的四个稀疏特征向量进行独热码编码,生成固定大小的第一嵌入向量,用户位置和服务位置通过嵌入层获得位置嵌入向量;

S2、隐藏层中多层感知机和transformer网络层两个子模块分别对第一嵌入向量和位置嵌入向量进行对应处理;

S3、将隐藏层的两个子模块输出的值联合起来通过预测层后,得到最终的预测值。

2.根据权利要求1所述的一种基于空间感知的transformer协同过滤方法,其特征在于,步骤S1获得第一嵌入向量的具体步骤如下:将用户ID、用户位置、服务ID和服务位置信息的特征向量独热码编码函数后,然后分别经过嵌入层函数生成对应的潜在向量,具体为:1

p=one‑hot(uid)#(1.1)2

p=one‑hot(ulc)#(1.2)1

q=one‑hot(sid)#(1.3)2

q=one‑hot(slc)#(1.4)1

puid=Embedding(p)#(1.5)2

pulc=Embedding(p)#(1.6)1

qsid=Embedding(q)#(1.7)2

qslc=Embedding(q)#(1.8)其中one‑hot表示独热码编码函数;uid、ulc、sid以及slc分别表示用户ID、用户位置、

1 2 1 2

服务ID和服务位置的特征向量;p 、p、q和q分别为它们经过one‑hot编码后对应的输入向量;Embedding表示嵌入层函数;puid、pulc、qsid以及qslc分别为用户ID潜在向量、用户位置潜在向量、服务ID潜在向量以及服务位置潜在向量,即形成第一嵌入向量;

位置嵌入向量使用用户位置和服务位置两种类型的特征来融合表示位置嵌入向量。

3.根据权利要求1所述的一种基于空间感知的transformer协同过滤方法,其特征在于,隐藏层中多层感知机的工作步骤如下:将第一嵌入向量送入到多层感知机的模型中进行训练,以此来获取用户和服务之间更深层次的内部交互特征;所述模型为:……

其中x表示整个多层神经网络层的输入,主要由第一嵌入向量组合而成,Wn、bn和fn分别表示神经网络层的权重向量、偏置向量以及激活函数。

4.根据权利要求1所述的一种基于空间感知的transformer协同过滤方法,其特征在于,所述激活函数为ReLU函数。

5.根据权利要求1所述的一种基于空间感知的transformer协同过滤方法,其特征在于,

隐藏层中transformer层的工作步骤如下:采用编码器层,利用多头注意力机制的自注意力层和前馈网络来进行训练,学习过程如下:

自注意力层:缩放的点积乘注意力具体计算公式如下:其中Q代表的是服务位置信息,K和V分别是位置嵌入向量关于用户位置信息和服务位置信息,将这三个线性向量通过线性投影转换为三个矩阵,并把它们一同送入到一个注意力层中;

采用多头注意力的形式来进行计算,详细的计算公式如下:H

S=MH(E)=Concate(head1,...,headh)W#(1.14)其中 是权重矩阵,E是Q、K、V的嵌入矩阵,h是头的个数;

前馈网络:添加了两层不完全相同的全连接层,第一层是具有ReLU激活函数的全连接层,第二层不带激活函数的简单全连接层;具体的计算公式如下:F=FFN(S)#(1.16)其中FFN表示全连接层,S表示多头注意力的输出结果。

6.根据权利要求5所述的一种基于空间感知的transformer协同过滤方法,其特征在于,在多头注意力层和前馈网络层都设置了dropout层和Norm层,因此整体的注意力层和前馈网络层的输出表示为:

S′=LayerNorm(S+Dropout(MH(S)))#(1.17)(1) (1) (2) (2)F=LayerNorm(S′+Dropout(Relu(S′w +b )W +b ))  (1.18)(1) (1) (2) (2)其中W 、b 、W 、b 是可学习的参数,LayerNorm是标准的归一化层,是超参数。S′是整体注意力层的输出,F是整体前馈网络层的输出。

7.根据权利要求1所述的一种基于空间感知的transformer协同过滤方法,其特征在于,步骤S3具体如下:

预测层继续使用ReLU激活函数获得最后的QoS预测值;具体的公式如下所示:h

其中 和F分别表示多层神经网络层和transformer层的输出结果,f则表示ReLU激T

活函数,W表示预测输出层的权重,pqos表示最后的QoS预测值。