1.基于特征重要性和双线性特征交互的移动应用推荐方法,其特征在于,包括如下步骤:
1)嵌入层:稀疏输入层对原始输入特征采用稀疏表示,嵌入层能够将稀疏特征嵌入到低维、连续的实值向量中,通过线性变换将稀疏矩阵变成密集矩阵进行矩阵的稠密化、提取矩阵的隐含特征,同时提升模型的泛化能力;嵌入层的输出表示如下:E=[e1,e2,...,ei,...,ef] (1)k
其中f代表域的数量,ei∈R则表示第i个域的表征,向量的大小k;
2)SENET层:不同的特征对目标任务应有不同的重要性,对于特定的CTR预测任务,通过SENET机制动态增大重要特征的权重,减少信息不足特征的权重;SENET通过三步组成:特征压缩、激励和重赋权值;首先对上一步得到的嵌入特征进行Squeeze操作,得到全局特征,然后对全局特征进行Excitation操作,学习各个特征间的关系,得到不同特征的权重,最后乘以原来的嵌入特征得到最终特征;
3)双线性交互层:结合内积和哈达玛积来学习具有额外参数的特征交互;交互向量pij可通过以下三种方式进行计算:所有域
pij=vi·W⊙vj (5)
k×k
W∈R 所有的向量(vi,vj)共用一个W;在双线性交互层中额外的参数量为k×k;
单个域
pij=vi·Wi⊙vj (6)k×k
W∈R 对应第i个域的参数矩阵,因此该层共需要维护f×k×k个参数;
域之间交互
pij=vi·Wij⊙vj (7)k×k
W∈R 对应第i个域与第j个域之间的权重矩阵,另外需要额外大小为 的参数量;
双线性交互层从原始嵌入E输出交互向量p=[p1,...,pi,...,pn],以及从类SENET嵌入k kV输出交互向量q=[q1,...qi,...,qn];其中向量pi∈R,qi∈R;重赋权值具体步骤如下:嵌入层的每个域乘以对应权重,得到最终的嵌入结果为V={v1,...,vf};SENET的嵌入V可计算如下:V=[a1·e1,...,af·ef]=[v1,...,vf] (4)
4)连接层:连接层将交互向量p和q连接起来,并将连接后的向量灌入到神经网络层;具体的过程可表示为如下形式:C=[p1,...,pn,q1,...,qn]=[c1,...,c2n] (8)
5)深度网络:将深度神经网络DNN组件与浅层模型相结合,形成一个深度模型;输入是(0)连接层的输出向量C,深度网络由多个全连接层组成,能够隐含地捕获高阶特征;令a =(0)[c1,...,c2n]表示初始输入,将a 灌入深度神经网络,其前馈过程如下:(l) l (l‑1) l
a =σ(Wa +b) (9)
(l) l l
a 为深度网络的第l层的输出,σ是sigmoid的函数,W 表示模型的权重矩阵,b表示模型的偏移量;
经过L层后,生成一个稠密的实值特征向量,输入到sigmoid函数中进行CTR预测:L (L+1) L+1
yd=σ(Wa +b ) (10)其中L为深度模型的层数;
6)预测层:模型预测层的输出表达式如下:其中 作为模型的预测值,σ是sigmoid函数;m作为特征大小;wi是线性部分的第i个权重;
整个训练过程旨在最小化下面的目标函数:其中yi是第i个样本的真实标签,对应第i个样本的预测标签;N为移动应用的样本总数。
2.根据权利要求1所述的基于特征重要性和双线性特征交互的移动应用推荐方法,其特征在于,所述步骤2)中特征压缩具体步骤如下:利用平均池化操作将原始嵌入E压缩到统计向量z=[z1,...zi,...,zf]中,zi可通过如下公式计算:zi表示关于第i个特征表示的全局信息,k表示嵌入的维度大小。
3.根据权利要求2所述的基于特征重要性和双线性特征交互的移动应用推荐方法,其特征在于,所述步骤2)中激励具体步骤如下:基于统计向量Z的每个域的嵌入权重,使用两个全连接FC层学习权重,第一个全连接层是参数W的降维层,它使用σ作为非线性函数;第二个全连接层通过参数W增加维数恢复到原来的维度;形式上,域嵌入的权重可计算如下:A=σ2(W2σ1(W1Z)) (3)f
其中A∈R作为向量,σ1和σ2是激活函数。