1.一种基于图注意力机制强化学习的货源推荐方法,其特征在于:包括如下具体步骤:
步骤1,构建图注意力机制强化学习模型GAMRL,使用Actor网络生成操作,收集用户近期行为数据作为embedding层的输入数据,使用embedding方法对输入数据向量化,将embedding矩阵嵌入到多层自注意力机制层以对数据进行进一步筛选,并使用残差网络保证多层注意力的训练结果;所述用户近期行为数据为:用户最近点击浏览的货源信息以及接单的货源信息,货源数据具体表现为:I={it-1,it-2,it-3,…,it-n},其中it-1表示用户t-1时刻感兴趣的货源;与若干个近期行为项目相关的尚未被接单的货源信息设为用户推荐列表的候选集D(i);自注意力机制层的具体流程为:步骤1.1,通过embedding层获得用户最近行为的向量表示为获得embedding矩阵表示为E∈R|I|×d,其中d是潜在空间的维数,|I|表示货源矩阵I的维数;使用位置embedding矩阵P∈Rn×l,维持用户先前感兴趣的货源顺序,将两个矩阵嵌入到一个矩阵M,如下所示:然后初始化权重矩阵,将上述矩阵M乘以三个权重矩阵WQ、WK、WV,分别得到三个值Q、K、V,计算公式为:Q = M·Wq (1)
K = M·Wk (2)
V = M·Wv (3)
得到的Q、K、V分别表示query,key和value;
步骤1.2,根据前述步骤中得到的Q和K计算每两个输入向量之间的相关性,也就是计算注意力值score,采用缩放点积的方式进行计算:score= Q·KT=(M·Wq)·(M·Wk)T (4)
步骤1.3,对前述步骤中计算的注意力值score施以softmax激活函数,并乘以value值,得到每一个向量对应自注意力层的输出向量:其中为了梯度的稳定,作为调节Q·K取值范围的比例因子;将此嵌入到ReLU激活函数层;叠加多层自注意力层,以提高特征提取的准确度,并使用残差网络保证多层自注意力模块的训练效果,所述训练结果输出为St;将t时刻的状态St输入策略函数生成所述用户推荐列表和预测动作at,即货源ip,然后将所述状态St和预测动作at作为Critic网络的输入;
步骤2,设计Critic网络对Actor网络生成的操作进行评估,建立局部物流关系网络来表示用户与货源之间的特定关系,使用图注意力机制GAM捕获局部物流关系网络的高级结构信息,通过训练出来的结果对Actor行为进行评价;
Critic网络基于输入状态设计一个局部物流关系网络,构造基于实体-关系-实体元组的局部物流关系网络{(i,r,j)|i,j∈M,r∈R},其中M表示货源集合,R表示关系集合;通过计算用户与特定关系之间的得分,测量关系对用户的重要性,将局部物流关系网络转换为特定于用户的图Au;
关系对用户的重要性计算方法为:
给定用户u∈U,且一个项q∈I,设D(i)是与项i有直接关系的项的集合,作为推荐候选集,rij表示项i和项j之间的关系,所述用户特定关系得分计算方法如下:其中f∶Rd×Rd→R;f是一个得分函数,用来计算用户与关系之间的得分;d是用户和关系表示的维数;u∈Rd,rij∈Rd;测量rij对用户u的重要性;
上述D(i)为需要推荐的候选集,将用户特定关系得分归一化为:
将局部物流关系网络转换为特定于用户的图Au,它是R|I|×|I|的邻接矩阵,在这个矩阵中,每个位置(i,j)对应一个分数得分越高,说明i和j这两项之间的关系越强,将分数高的货源添加到D(i),作为货源推荐候选集;
利用图注意力机制GAM来获取关系网络中各条目之间的高阶结构邻近性,获取特定于用户-项目的加权图;然后基于所述用户-项目的加权图,搜索actor预测的动作at,即预测项目ip到真实目标it的距离;根据预测物品与目标物品之间的距离,通过估计奖励r来计算Q值:其中wpt为从ip到it的最短路径的权值之和;∝是避免分母变为0的参数。
2.根据权利要求1所述的基于图注意力机制强化学习的货源推荐方法,其特征在于:所述步骤2中,图注意力机制层的具体流程如下:图注意力机制层的输入是一个节点的特征向量集:v={v1,v2,…,vN},vi∈RF,其中N表示节点的个数,F表示节点特征的个数,矩阵v的大小为N×F,表示所有节点的特征,而R只代表某一个节点的特征,大小为1×F;
对所有输入节点训练一个权重矩阵:W∈RF′×F,针对每个节点实行自注意力机制,注意力系数定义为:cij=a(W·vi,W·vj),其中a是一个函数,表示节点i对节点j的重要性,v表示节点的特征向量;为了方面注意力系数更容易计算和比较,引入softmax对所有i的相邻节点j进行归一化:输出是一个新的节点特征向量集:v′={v′1,v′2,…,v′N},v′i∈RF′,其中F′表示新节点的特征向量维度,F′=F或F′≠F;根据上述步骤得到了归一化后的不同节点之间的注意力系数,用来预测每个节点的输出特征:W为与特征相乘的权重矩阵,aij为前面计算得到的注意力互相关系数,σ为非线性激活函数,j∈Ni中遍历的j表示所有与i相邻的节点。