欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022107513686
申请人: 湖南科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多模态特征融合的移动应用分类与推荐方法,其特征在于,包括如下步骤:(1)移动应用特征提取层

从移动应用数据集中提取一组多模态样本D,针对每个样本c∈D,它包含一个由n个移动应用描述信息单词(w1,…,wn)组成的句子S以及一个关联的移动应用图像I;将D作为训练语料库,在移动应用分类器中进行训练学习,在未被学习到的样本中正确预测移动应用的类别标签;在完成初始归一化及自编码单词化预处理后,在特征提取层中使用Bert模型对移动应用描述特征进行提取,并使用内卷模块的残差网络(RedNet)进行图像特征提取;

(2)移动应用分类层

使用Transformer中的自注意力与多头注意力机制区分不同模态的特征重要性并融合,并使用Softmax分类器根据融合后的特征信息将移动应用进行分类;

(3)移动应用推荐层

将完成分类后的数据依据其类别输入FiBiNet模型,通过权重拟合特征和样本的关系,动态地学习特征的重要性;对于越重要的特征,将赋予更大的权重,并且弱化非关键特征的权重;利用双线性操作同时考虑各个维度的重要性以完成移动应用推荐;FiBiNet模型上半部分为深层部分,主要是 MLP 网络通过连接层将双线性交互层的输出连接集成到稠密向量中,再将交叉组合特征输入神经网络,在预测层得到预测分数;下半部分浅层部分是FiBiNet 的核心,主要对输入特征进行处理;

所述步骤(3)中浅层部分包括如下步骤:

将分类完成后的移动应用按类别输入FibiNet中的初始嵌入层中,将稀疏特征嵌入到低维连续实值向量中,通过线性变换将稀疏矩阵转化为稠密矩阵,提取矩阵的隐藏特征,提高模型的泛化能力,嵌入层的输出表示如下:E = [e1, e2, . . , ei, … , eƒ]引入SENET网络进行训练学习,获得嵌入权重并输出最终嵌入结果,对嵌入层中获得的嵌入特征进行降维运算,得到全局特征,然后,对其进行Sigmoid激活运算,学习每个嵌入之间的关系,得到不同域嵌入的权重,最后,将原始嵌入结果相乘得到最终嵌入结果;

所述降维包括如下步骤:

通过使用平均池化操作将原始嵌入E压缩到统计向量Z=[ z1,…,zi,…,Zƒ]中,zi可通过以下公式计算:;

其中,zi是关于第i个特征表示的全局信息,k是嵌入尺寸;

所述激活包括如下步骤:

基于统计向量Z学习每个域的嵌入权重,并使用两个全连接层学习权重,第一个完全连接层是参数W1的降维层,它使用σ1作为非线性函数,第二个完全连接层通过使用参数W2增加维度来重新存储原始维度,形式上,领域嵌入的权重计算如下:;

其中A ∈ ℝƒ 为表征向量,σ1和σ2是激活函数;

所述最终嵌入结果包括如下步骤:

嵌入层的每个字段乘以相应的权重,得到最终的嵌入结果V={v1,…,Vƒ},整个操作是学习每个域嵌入的权重系数,这使得模型对每个域嵌入的特征更具区分性,利用SENET机制,增加重要特征的权重,并减少那些信息不足特征的权重,得到SENET层输出V,表示如下:;

在得到初始嵌入层及SENET层的移动应用表征嵌入后,对稀疏特征及稠密特征进行二阶及高阶特征交互;

计算得到嵌入层的输出E与SENET层输出V的交互向量p和q:;

;

;

将上述得到的两个交互向量进行连接,并输入到深层部分;

所述步骤(3)中深层部分计算公式为:

;

其中,ŷ为区间∈ (0,1)的模型移动应用推荐预测值,σ为sigmoid函数,m为特征尺寸,其余为线性回归部分;

使用Logloss作为模型推荐优化目标函数:

;

其中,y是第i个移动应用程序的真实标签,ŷ对应于第i个移动应用程序的预测标签,N是移动应用的总数。

2.根据权利要求1所述的基于多模态特征融合的移动应用分类与推荐方法,其特征在于,所述步骤(1)中描述特征进行提取包括如下步骤:选取预训练好的双预料库BERT作为初始模型,通过Fine-Tune的方式对其参数进行调整与学习;将使用多头自我注意层将输入序列中的每个位置转换为输入层的加权和;具体来说,对于第i个头部注意,输入层X∈ Rd×N是基于点积注意力机制转化的:;

其中,{WQi,WKi,WVi}∈ Rd/m×d是分别对应于查询、键和值的可学习参数;之后,将m个注意机制的输出串联在一起进行线性变换;

将每个移动应用的描述信息通过自编码的方式对其进行表征并输入到预训练好的BERT中;除了单词的token之外,在输入的每一个序列开头都插入特定的分类token([CLS]),该分类token对应的最后一个Transformer层输出被用来起到聚集整个序列表征信息的作用,保留[CLS]向量与被提取的语义向量作为输出O,以提升模型精确性:之后将输出O通过Softmax函数进行线性变化,得到移动应用I的D*N维文本信息最终表征向量。