欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108266394
申请人: 曲阜师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-01-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于位置编码的软注意力机制学习方法,其特征在于:(1)生成位置编码

生成位置编码的过程,包括设置位置矩阵和计算位置编码:

(1.1)设置位置矩阵

已知一个会话序列s=[vs,1,vs,2,....,vs,ι],长度为ι,为会话序列中的每个项vs,i设置一个位置偏置将这ι个位置偏置进行组合,生成一个可学习的位置矩阵(1.2)计算位置编码

对于会话序列中的每一个项vs,i,根据它和最后一项vs,ι的相对距离去计算它的位置编码于是得到相应的会话序列中所有对应的可学习的位置编码(2)嵌入软注意力机制

在位置编码的软注意力机制嵌入分为生成平均特征、嵌入和线性组合三个步骤:(2.1)计算每个会话的平均特征

已知一个会话序列s=[vs,1,vs,2,...,vs,ι],长度为ι,在分层图神经网络的会话推荐中,通过获取不同会话的图结构之间的关系,得到每一项的全局特征将所有项的全局特征的第k个因子取出来并进行加和,再将加和结果除以会话长度ι,于是得到所有项的平均特征因子最后,将它们进行拼接得到该会话序列中的所有项的平均特征因子,得到平均特征对应的公式如下:(2.2)嵌入

对每个会话序列,已知每一项的全局特征平均因子特征和位置编码将第i项特征的第k个因子平均特征的第k个因子和嵌入计算的第i项的位置编码分别于可学习的矩阵和进行相乘,并将它们的相乘结果与可学习的向量bk相加;接着,将加和结果进行sigmoid激活,映射成0和1之间的向量,该向量与可学习的向量相乘,得到0和1之间常数即每一项的全局特征系数;对应的公式如下:(2.3)线性组合

已知每一项的全局特征以及它们的系数为;先将每一项的全局因子特征与系数数乘,再将它们的数乘结果进行加和,于是得到组间会话特征因子sg,k,最后,将这些组间会话特征因子进行组合,得到组间会话特征sg=[sg,1,sg,2,…,sg,K];对应的公式如下: