1.一种融合主题特征和交叉注意力的级联信息传播预测方法,其特征在于,包括如下步骤:S1,根据级联信息间的差异性进行不同主题特征的划分,并对不同主题特征进行特征提取;
S2,根据交叉注意力机制融合用户表示和级联表示以学习特征表达;根据交叉注意力机制融合用户表示和级联表示以学习特征表达的方法包括以下步骤:S21,对用户表示Zm和级联表达Dm进行注意力计算,学习内在特征,具体公式如下:其中,Att()表示注意力机制;
softmax()表示可以将一组数值转换为表示各个选项概率的分布的映射函数;
Q,K,V分别表示公式(14)的三个参数;
T
K表示K的转置矩阵;
d是embedding的维度;
*
H是多头注意力的头数;
Mmask表示mask矩阵掩盖之前已经被激活的用户节点;
Q K V
hi=Att(ZmWi ,ZmWi ,ZmWi),………(14)其中,hi表示多头注意力中的第i头;
Att()表示注意力计算机制;
Zm表示在级联信息cm中查询到的用户表示;
Q
Wi为可学习的第一转换矩阵;
K
Wi为可学习的第二转换矩阵;
V
Wi为可学习的第三转换矩阵;
h表示最终通过注意力机制学习到的特征表示;
[]表示拼接操作;
*
H是多头注意力的头数;
O
W为可学习的第四转换矩阵;
Z′m=σ(hW5+b1)W6+b2,………(16)其中,Z′m表示经过拼接学习后的用户表达;
σ()表示RelU激活函数;
h表示通过注意力机制学习到的特征表示;
W5表示可学习的第五转换矩阵;
b1表示第一偏置参数;
W6表示可学习的第六转换矩阵;
b2表示第二偏置参数;
S22,对用户表示Zm和级联表达Dm进行交叉注意力计算,互相学习特征,具体公式如下:其中,hi表示多头注意力中的第i头;
Att()表示单个头中Attention机制算法;
Zm表示在级联信息cm中查询到的用户表示;
表示第i头中的转换矩阵,用以将特征转换为相应的Q值;
Dm表示融合主题特征之后的级联表达;
表示第i头中的转换矩阵,用以将特征转换为相应的K值;
表示第i头中的转换矩阵,用以将特征转换为相应的V值;
S23,将经过交叉注意力机制进行自学习之后的Z″m和D″m特征通过门控机制融合,具体公式如下:其中,Pm表示融合后的特征表示;
表示一个[0‑1]的权重系数;
D″m表示交叉注意力机制进行自学习所得的级联表示;
Z″m表示交叉注意力机制进行自学习所得的用户表示;
S3,得到预测结果。
2.根据权利要求1所述的融合主题特征和交叉注意力的级联信息传播预测方法,其特征在于,在步骤S1之前包括对社交属性进行学习,对其社交属性进行学习的方法为:给定一个社交关系图Gf=(U,E),将其通过一个多层的GCN来学习其偏好表示,公式如下表示:其中, 表示经过l+1层GCN的学习之后获得的用户表示;
σ()表示RelU激活函数;
Df表示友谊图的度矩阵,两个 起到归一化作用;
表示邻接矩阵Af和单位矩阵I的和,即表示表示经过l层GCN的学习之后获得的用户表示;
Wf表示一个可学习的第七转换矩阵。
3.根据权利要求1所述的融合主题特征和交叉注意力的级联信息传播预测方法,其特征在于,在步骤S1中级联信息的时序表达包括以下步骤:S11,给定一个传播级联子图 学习过程如下:其中, 表示经过l+1层HGAT学习所得的级联表示;
σ()表示RelU激活函数;
表示在超边 上的用户;
表示在时刻t某级联信息j对应的超边,也即传播级联子图 中的某个级联j;
表示在某个传播级联子图 中用户ui和用户uj之间的注意力系数;
W1表示第一权重矩阵;
表示通过一层HGAT学习之后的用户表示;
表示通过l+1层HGAT学习之后的用户表示;
σ()表示RelU激活函数;
表示在时刻t某级联信息j对应的超边,也即传播级联子图 中的某个级联j;
表示超边集合;
W2表示第二权重矩阵;
表示通过l+1层HGAT学习之后的超边表示;
表示通过l+1层HGAT学习之后的超边表示的进一步更新,作为最后的学习结果;
σ()表示RelU激活函数;
表示在超边 上的用户;
表示在时刻t某级联信息j对应的超边;
表示在某个传播级联子图 中用户ui和用户uj之间的注意力系数;
W3表示第三权重矩阵;
表示通过l+1层学习之后的用户表示;
S12,每个时刻t的传播级联子图通过HGAT学习到用户表达集合Ut和级联表达Ot,将此二者作为一个二元组存放成一个供查询的列表,具体公式如下:其中,R表示字典列表;
表示将时刻点t作为字典key值 并将学习到的Ut和Ot作为一条记录并保存起来,该步骤的后续再通过与 对比大小,查找出相应时间间隔的用户表达和级联表达,表示字典key值,(,)表示二元组;
Ut表示在时刻t基于传播级子图学习到的用户表达集合;
Ot表示在时刻t基于传播级子图学习到的级联表达;
T表示总共的时间戳的数目。
4.根据权利要求1所述的融合主题特征和交叉注意力的级联信息传播预测方法,其特征在于,在步骤S1中对主题特征分类提取的方法包括以下步骤:S1‑1,采用多层的HGCN对级联信息的表达进行学习以得到超边的表示,仅在最后一层T l T l的HGCN表达中,利用H和X相乘得到相应的超边表示,也即E=HX,具体公式如下:l+1
X 表示通过l+1层HGCN学习之后的用户表示;
σ()表示RelU激活函数;
Dv表示顶点度矩阵, 表示度矩阵Dv的负半平方根;
H是超图邻接矩阵表示;
Wd是可学习的权重矩阵;
De是边度矩阵, 表示边度矩阵De的负平方根;
T
H表示H的转置;
l
X是在l层HGCN学习到的节点表示;
l
θ为一个特征映射参数;
S1‑2,将学习得到的级联构成一个级联主题池,即将级联集合划分为n个不同的主题区间,把n设置为一个超参数,随后在各自的主题区间内对级联信息进行聚类操作来调整相应的超边表示,以为不同的主题信息萃取出主题特征,具体过程如下:T=cluster(E,n),………(8)T为聚类之后主题列表集合;
cluster()表示聚类操作;
T l
E表示利用H和X相乘得到相应的超边表示;
n表示定义的超参数,也即聚类之后形成的主题数量。
5.根据权利要求1所述的融合主题特征和交叉注意力的级联信息传播预测方法,其特征在于,在步骤S1之后还包括对主题特征和级联特征进行查找和增强,对主题特征和级联特征进行查找和增强的方法包括以下步骤:S1a,对级联信息在时序传播列表中查找其对应的时间区间,提取相应的用户表示Zm和超边表示Dm,t,具体公式如下:Zm,Dm,t=lookup(cm,R),………(9)其中,Zm,Dm,t表示在空间R中查询到Zm和Dm,t,其中Zm表示在级联信息cm中查询到的用户表示,Dm,t表示在时刻t查询到的级联表示;
lookup()表示目标级联信息cm去查询列表M中的相应时间间隔学习到的特征表示;
cm表示级联信息;
R表示字典列表;
S1b,利用超边表示Dm,t在主题列表中通过线性搜索查找对应的主题特征,具体公式如下:Tm,t=lookup(Dm,t,T),………(10)其中,Tm,t表示通过查询得到Dm,t所属的级联主题;
lookup()表示查询主题列表中的主题特征表示;
Dm,t表示在时刻t查询到的级联表示;
T表示主题特征集合;
S1c,利用主题特征进行特征增强,具体公式如下:Dm表示融合主题特征之后的级联表达;
表示级联表示和主题特征之间的相关系数;
Tm,t表示通过查询得到Dm,t所属的级联主题。