1.一种基于协同注意力机制的短视频点击率预测方法,其特征在于:
将用户点击序列和目标短视频映射到多方面(aspect)空间下,并得到多方面(aspect)空间下的用户和短视频表征。对于一个用户的点击行为序列 可以表示为X=[x1,…,xn],其中 是用户点击了的短视频封面图特征向量,d是特征向量长度。将用户点击序列和目标短视频映射到多方面(aspect)空间下的向量表征为:qi=ui=Hixnew
ui|j=Hixj
其中,xnew为目标短视频向量表征,xj是输入短视频序列中第j个短视频向量表征,Hi是短视频到第i个方面(aspect)空间的转换矩阵,短视频方面(aspect)的个数是M。目标短视频在不同方面(aspect)空间下的向量表征表示为 得到用户短视频序列在不同方面(aspect)空间下的向量表征后,使用循环神经网络(RNN)去抽取不同空间下的短视频序列性:pi=RNNi(ui|j)
其中,ui|j表示用户短视频序列中第j个短视频在第i个方面(aspect)空间下的表征。
RNNi(ui|j)表示采用循环神经网络(RNN)对第i个方面(aspect)空间下的[ui|1,ui|2,ui|3,...,ui|l]列表进行建模。用户在不同方面(aspect)空间下的向量表征表示为本方法中采用的循环神经网络结构是长短时记忆网络(LSTM)。
利用协同注意力(co-attention)机制得到用户和目标短视频的不同方面(aspect)的重要性。
S=φ(PWsQT)
αu=softmax(φ(PWx+ST(QWy))vx)
αnew=softmax(φ(QWy+S(PWx))vy)
其中,P是用户在不同方面(aspect)空间下的向量表征,Q是目标短视频在不同方面(aspect)空间下的向量表征。Ws、Wx、Wy、vx和vy是模型训练参数,φ是ReLU激活函数,公式为φ(x)=max(0,x)。softmax表示softmax函数。矩阵S表示用户在不同方面(aspect)空间下的向量表征和目标短视频在不同方面(aspect)空间下的向量表征的相似度。
根据用户和目标短视频多方面(aspect)空间下的表征,以及相对应的重要性,预测用户对目标短视频的点击率。
其中,αu,i是用户第i个方面(aspect)特征的重要性,αnew,i是目标短视频第i个方面(aspect)特征的重要性。pi是用户在第i个方面(aspect)空间下的向量表征,qi是目标短视频在第i个方面(aspect)空间下的向量表征。参数b是偏置标量。σ是sigmoid激活函数。
根据模型特性,设计损失函数。通过用户对目标短视频的点击率预测值 计算预测值和真实值y之间的误差,进而使用误差来更新模型参数。我们采用交叉熵损失函数来指导模型参数的更新过程:其中,y∈{0,1}是真实值,代表用户是否点击了目标短视频。σ是sigmoid函数。最后采用Adam优化器更新模型参数。
2.根据权利要求1所述的一种基于协同注意力机制的短视频点击率预测方法,其特征在于:所述长短时记忆网络(LSTM)结构为:ij=σ(Wiuj+Uihj-1+bi)
fj=σ(Wfuj+Ufhj-1+bf)
oj=σ(Wouj+Uohj-1+bo)
cj=ijtanh(Wcuj+Uchj-1+bc)+fjcj-1
hj=ojcj
其中,不同方面(aspect)空间下的长短时记忆网络结构相同且参数不共享,为了表述方便,以上公式省略方面(aspect)空间参数i。长短期记忆网络的最后一层的隐藏状态hj的输出就是用户在当前兴趣空间下的兴趣向量表征。uj是当前层的节点输入,Wi、Ui、Wf、Uf、Wo和Uo分别是控制输入门ij、遗忘门fj和输出门oj的参数。σ为sigmoid函数。所有这些参数和输入:隐层状态ht-1、当前输入xt以及节点xt的的空间信息gt共同参与计算,来输出结果hj。