欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022112001989
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多阶特征优化与混合型知识蒸馏的点击率预测方法,其特征在于,所述方法包括如下步骤:步骤一,数据预处理:

对获取的原始用户行为数据与已点击广告数据进行特征提取,并进行独热编码转化,以分别得到用户行为特征嵌入向量以及广告特征嵌入向量;

步骤二,模型训练:

将用户行为特征嵌入向量与广告特征嵌入向量输入SENET网络,然后执行基于通道注意力的特征优化,以生成第一阶特征;

构建域特征交互网络,对已获取的所述第一阶特征执行基于域对对称矩阵嵌入的特征优化,以生成第二阶特征;

将所述第一阶特征输入至压缩交互网络中以输出得到显式高阶特征,将所述第二阶特征输入至深度神经网络中以输出得到隐式高阶特征,加权拼接所述显式高阶特征与隐式高阶特征,以融合生成第三阶特征,并基于所述第三阶特征生成点击率预测模型;

步骤三,点击率预测;

预训练点击率预测模型、AutoInt模型以及DIFM模型,然后分别进行自蒸馏后进行联合以构建得到教师网络;

预训练DNN模型以及FM模型,然后进行相互蒸馏后进行组合以构建得到学生网络;

设计门控网络,在教师网络中通过门控网络计算教师模型知识权重,基于教师模型知识权重,教师网络对学生网络中的各学生模型进行点击率预测指导,以实现混合型知识蒸馏;其中,所述教师模型知识权重表示教师模型指导学生网络中各学生模型的知识权重;

步骤四,广告推荐;

将混合型知识蒸馏输出的学生网络进行线上部署,以获得多个预测值并进行降序排列,选取预测值最高的预设数量的广告推荐给用户,以完成点击率预测;

在所述步骤二中,将所述第一阶特征输入至压缩交互网络中以输出得到显式高阶特征的方法,显式高阶特征的生成公式为:其中, 表示第 层高阶矩阵中的第 个高阶特征向量, 表示第 层高阶矩阵中的第 个高阶特征向量, 表示第一阶特征中的第 个特征值, , 表示第一阶特征生成第 层高阶特征向量的第 个高阶特征的参数矩阵, 表示第0层特征嵌入向量的个数,表示第 层特征嵌入向量的个数, 表示第 层高阶特征向量中的第 个特征, 表示第 层高阶特征向量中第 个特征的第 维度的特征向量, 表示最终生成的显式高阶特征,表示显式高阶特征的总层数,表示哈达玛积;

在将所述第二阶特征输入至深度神经网络中以输出得到隐式高阶特征的方法中,隐式高阶特征的生成公式为:其中, 表示深度神经网络中第 层的神经网络输出,表示激活函数, 表示深度神经网络中第 层的权重, 表示深度神经网络中第 层的偏移量,表示深度神经网络的层数;

在所述步骤二中,基于所述第三阶特征生成点击率预测模型的公式表示为:其中,表示点击率预测值, 表示sigmoid函数操作, 均表示点击率预测模型参数, ;

在所述步骤三中,混合型知识蒸馏对应的公式表示为:

其中, 表示学生网络中FM模型的损失函数,表示真实标签, 表示学生网络中FM模型的输出, 表示学生网络中FM模型对真实标签进行拟合, 表示学生网络中FM模型相对DNN模型的KL损失, 表示 的权重;

表示学生网络中DNN模型的损失函数, 表示学生网络中DNN模型的输出,表示学生网络中DNN模型对真实标签进行拟合, 表示学生网络中DNN模型相对FM模型的KL损失, 表示 的权重;

点击率预测模型、AutoInt模型以及DIFM模型分别进行自蒸馏的公式表示为:其中, 表示DIFM模型的损失函数, 表示针对未增强样本的教师网络中DIFM模型的输出, 表示针对增强样本的教师网络中DIFM模型的输出, 表示 的权重,表示未增强样本的教师网络中DIFM模型对真实标签进行拟合, 表示增强样本的教师网络中DIFM模型对真实标签进行拟合;

表示AutoInt模型的损失函数, 表示针对未增强样本的教师网络中AutoInt模型的输出, 表示针对增强样本的教师网络中AutoInt模型的输出, 表示 的权重, 表示未增强样本的教师网络中AutoInt模型对真实标签进行拟合,表示增强样本的教师网络中AutoInt模型对真实标签进行拟合;

表示点击率预测模型的损失函数, 表示针对未增强样本的教师网络中点击率预测模型的输出, 表示针对增强样本的教师网络中点击率预测模型的输出, 表示 的权重, 表示未增强样本的教师网络中点击率预测模型对真实标签进行拟合, 表示增强样本的教师网络中点击率预测模型对真实标签进行拟合;

混合型知识蒸馏对应的总损失函数表示为:

其中, 表示混合型知识蒸馏对应的总损失函数, 表示教师网络中第 个教师模型,表示教师网络,表示学生网络, 表示教师网络中教师模型的数量,表示教师网络中第 个教师模型的知识权重。

2.根据权利要求1所述的多阶特征优化与混合型知识蒸馏的点击率预测方法,其特征在于,在所述步骤一中,对获取的原始用户行为数据与已点击广告数据进行特征提取,并进行独热编码转化,以分别得到用户行为特征嵌入向量以及广告特征嵌入向量的方法包括如下步骤:对所述用户行为数据与所述已点击广告数据均进行预处理,所述预处理包括:从年龄、性别、以及用户类型的相关字段提取得到对应的离散特征,通过嵌入方法对所述离散特征进行处理,使语义上相似的特征聚集到特征空间中相近位置;

所述预处理还包括:

从价格与时间的相关字段提取得到对应的连续特征,对所述连续特征进行归一化处理,将特征值压缩至[0,1];

根据经过预处理之后的用户行为数据生成用户行为特征嵌入向量,根据经过预处理之后的已点击广告数据生成广告特征嵌入向量;其中,所述用户行为特征嵌入向量与所述广告特征嵌入向量记为特征嵌入向量 。

3.根据权利要求2所述的多阶特征优化与混合型知识蒸馏的点击率预测方法,其特征在于,在所述步骤二中,将用户行为特征嵌入向量与广告特征嵌入向量输入SENET网络,然后执行基于通道注意力的特征优化,以生成第一阶特征的方法包括如下步骤:利用SENET网络通过平均池化操作,对所述特征嵌入向量 进行压缩,以计算得到统计向量;

基于所述统计向量,设计两个全连接层以计算得到注意力权重;

根据所述注意力权重对所述特征嵌入向量 进行加权,以生成所述第一阶特征;

所述第一阶特征表示为:

其中, 表示第一阶特征, 表示对所述特征嵌入向量 进行注意力加权,表示注意力权重, 表示特征嵌入向量, 表示 中第 个特征嵌入向量,表示 中第 个特征嵌入向量, 表示 的注意力权重,表示 的注意力权重,表示第一阶特征的第 个特征值, 表示第一阶特征的第 个特征值;

表示计算注意力权重的函数,表示全连接层的第一激活函数, 表示全连接层的第二激活函数, 表示全连接层的第一参数, 表示全连接层的第二参数, 表示统计向量, ,表示计算出的第 个特征嵌入向量对应的统计信息值, 表示计算统计信息值的函数,表示特征嵌入向量 的维度,表示从维度1计算到 。

4.根据权利要求3所述的多阶特征优化与混合型知识蒸馏的点击率预测方法,其特征在于,在所述步骤二中,在构建域特征交互网络,对已获取的所述第一阶特征执行基于域对对称矩阵嵌入的特征优化的步骤中,对应有如下公式:其中, 表示域特征交互网络的输出, 表示一个 对称矩阵,

表示域特征交互网络可学习得到的基础加权参数,表示域特征交互网络可学习得到的第 个特征嵌入向量的加权参数,表示特征数,表示第 个特征嵌入向量的值,表示第个特征嵌入向量的值, 表示第 个字段的域特征, 表示第 个字段的域特征,表示第一阶特征的第 个特征值。

5.根据权利要求4所述的多阶特征优化与混合型知识蒸馏的点击率预测方法,其特征在于,第二阶特征的公式表示为:其中,表示第二阶特征, 表示进行拼接操作, 表示始特征嵌入向量输入到域特征交互网络中得到的输出结果, 表示第一阶特征输入到域特征交互网络中得到的输出结果, 表示拼接后的第 个交互特征向量,表示域特征交互网络生成的交互特征向量个数。

6.一种多阶特征优化与混合型知识蒸馏的点击率预测系统,其特征在于,所述系统应用如上述权利要求1至5任意一项所述的多阶特征优化与混合型知识蒸馏的点击率预测方法,所述系统包括:数据预处理模块,用于:

对获取的原始用户行为数据与已点击广告数据进行特征提取,并进行独热编码转化,以分别得到用户行为特征嵌入向量以及广告特征嵌入向量;

模型训练模块,用于:

将用户行为特征嵌入向量与广告特征嵌入向量输入SENET网络,然后执行基于通道注意力的特征优化,以生成第一阶特征;

构建域特征交互网络,对已获取的所述第一阶特征执行基于域对对称矩阵嵌入的特征优化,以生成第二阶特征;

将所述第一阶特征输入至压缩交互网络中以输出得到显式高阶特征,将所述第二阶特征输入至深度神经网络中以输出得到隐式高阶特征,加权拼接所述显式高阶特征与隐式高阶特征,以融合生成第三阶特征,并基于所述第三阶特征生成点击率预测模型;

点击率预测模块,用于;

预训练点击率预测模型、AutoInt模型以及DIFM模型,然后分别进行自蒸馏后进行联合以构建得到教师网络;

预训练DNN模型以及FM模型,然后进行相互蒸馏后进行组合以构建得到学生网络;

设计门控网络,在教师网络中通过门控网络计算教师模型知识权重,基于教师模型知识权重,教师网络对学生网络中的各学生模型进行点击率预测指导,以实现混合型知识蒸馏;其中,所述教师模型知识权重表示教师模型指导学生网络中各学生模型的知识权重;

广告推荐模块,用于;

将混合型知识蒸馏输出的学生网络进行线上部署,以获得多个预测值并进行降序排列,选取预测值最高的预设数量的广告推荐给用户,以完成点击率预测。