1.一种基于序列胶囊网络的短视频点击率预测方法,其特征在于:利用卷积神经网络从用户点击序列中抽取上下文向量表征;对于一个用户的点击短视频的行为序列 可以表示为X=[x1,…,xn],其中 是用户点击短视频封面图特征向量,短视频封面图特征向量维度为d,n是序列的长度;采用一维卷积神经网络从点击序列抽取上下文向量表征;一维卷积神经网络的窗口宽度(window spanning)参数为w,步长(stride)参数为s,填充(padding)参数为p;输入的用户点击短视频的行为序列为X=[x1,…,xn],输出的上下文序列特征为[e1,…,el],其中l是上下文序列的长度,且利用序列胶囊网络从上下文向量表征中抽取用户多兴趣向量表征hi;
ui|j=Hiej
hi=g(RNNi(ui|j))
其中,ej是用户点击序列中抽取的上下文向量表征, 是用户序列到兴趣空间i的转换矩阵,用户多兴趣的个数是M;g是胶囊网络中常用的squash激活函数;RNNi(ui|j)表示采用循环神经网络(RNN)对兴趣空间i下的[ui|1,ui|2,ui|3,…,ui|l]列表进行建模;采用的循环神经网络结构是长短时记忆网络(LSTM);
基于用户多兴趣向量表征,利用注意力机制预测用户对目标短视频的点击率;给定用户多兴趣胶囊hi,计算用户点击目标短视频xnew的概率为:其中,hi为用户的第i个兴趣表征,xnew为目标短视频的向量表征;参数 和参数W1,控制每个兴趣表征的权重,兴趣表征的维度为d,和短视频封面图特征向量维度一致,参数c是偏置参数; 和 是转移矩阵, 是偏置向量,b2是偏置标量;σ是sigmoid激活函数;
根据模型特性,设计损失函数;通过用户对目标短视频的点击率预测值 计算预测值和真实值y之间的误差,进而使用误差来更新模型参数;采用交叉熵损失函数来指导模型参数的更新过程:
其中,y∈{0,1}是真实值,代表用户是否点击了目标短视频;σ是sigmoid激活函数;最后采用Adam优化器更新模型参数。
2.根据权利要求1所述的一种基于序列胶囊网络的短视频点击率预测方法,其特征在于:所述长短时记忆网络(LSTM)结构为:ij=σ(Wiuj+Uihj‑1+bi)fj=σ(Wfuj+Ufhj‑1+bf)oj=σ(Wouj+Uohj‑1+bo)cj=ijtanh(Wcuj+Uchj‑1+bc)+fjcj‑1hj=ojcj
其中,不同兴趣空间i下的长短时记忆网络结构相同且参数不共享;长短期记忆网络的最后一层的隐藏状态hj的输出就是用户在当前兴趣空间下的兴趣向量表征;uj是当前层的节点输入,Wi、Ui、bi和、Wf、Uf、bf和Wo、Uo、bo分别是控制输入门ij、遗忘门fj和输出门oj的参数;σ为sigmoid激活函数;tanh为tanh激活函数;所有这些参数和输入:隐层状态ht‑1、当前输入xt以及节点xt的的空间信息gt共同参与计算,来输出结果hj。