欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116609916
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于大语言模型的文本序列推荐方法,其特征在于,包括以下阶段:数据预处理阶段:将用户点击的历史文本序列数据,转化为属性键值对集合,以构造用于大模型训练的数据集;

大语言模型预训练阶段:将所述数据集,构造为大语言模型的提示词训练集,将序列推荐任务转换为自然语言任务后进行模型训练,在语义空间层面获取最佳的文本序列推荐结果;

序列模型微调阶段:通过对序列模型进行微调,使得基于大语言模型的结果在序列推荐任务上得到优化;

匹配阶段:基于大语言模型阶段和序列模型阶段的处理结果,对文本内容在嵌入向量空间维度进行匹配,输出序列推荐的结果;

在序列模型微调阶段,将Langformer作为序列模型,用于防止过长的交互序列对计算结果产生影响以及加快注意力机制的计算效率;

在序列模型微调阶段,选择基准向量,将经过大语言模型训练后得到的向量作为所述基准向量的正样本,将未经过大语言模型训练后得到的向量作为所述基准向量的负样本;

基于所述基准向量,根据所述正样本和所述负样本,通过设置扰动因子,构建对比学习Loss函数,用于对下游任务进行微调,其中,所述对比学习Loss函数表示为:式中,Efinal表示基准向量,表示正样本,表示负样本,α1表示扰动因子,Lc表示对比学习Loss函数。

2.根据权利要求1所述一种基于大语言模型的文本序列推荐方法,其特征在于:在数据预处理阶段,对所述历史文本序列数据,通过去除标点符号、去除HTML标签、去除停用词、去除多余空格以及词形还原,进行处理;

将处理后的数据,构造为包括属性键和值的格式,并按照交互时间倒序进行排序,并选择交互数量大于5的交互序列作为所述数据集。

3.根据权利要求2所述一种基于大语言模型的文本序列推荐方法,其特征在于:在大语言模型预训练阶段,通过构建在交互序列中遮挡某个序列中的值来构造缺失语料提示数据集;

根据用户交互文本数据与未交互的文本数据构造对比学习提示数据集;

根据所述缺失语料数据集和所述对比学习提示数据集,按照训练集:验证集:测试集比例为8:1:1进行划分,构建所述提示词训练集。

4.根据权利要求3所述一种基于大语言模型的文本序列推荐方法,其特征在于:在大语言模型预训练阶段,采用低秩矩阵作为大模型微调参数补充,将将原有参数与低秩矩阵的参数进行合并,形成大语言模型的整体参数,用于模型训练。

5.根据权利要求4所述一种基于大语言模型的文本序列推荐方法,其特征在于:在大语言模型预训练阶段,训练大模型的目标为:

式中,x表示已给定的任务,yt为大模型输出,y<t表示大模型输出yt之间的输出内容,Pu表示大语言模型的整体参数。

6.根据权利要求1所述一种基于大语言模型的文本序列推荐方法,其特征在于:在对下游任务进行微调的过程中,将多层感知机,作为下游任务,使用交叉熵Loss传递,其中,交叉熵Loss表示为:其中,n为样本数量,yi为真实点击行为,如果点击为1,未点击为0,为模型输出的预测概率;

对于序列模型来说,其微调总体Loss函数为:L=Lb+Lc。

7.根据权利要求6所述一种基于大语言模型的文本序列推荐方法,其特征在于:在匹配阶段,获取待推荐文本数据,通过大模型进行推理,得到大模型输出结果,与所述待推荐文本数据的嵌入向量集,利用下游任务模型进行推理,并根据推理结果与待推荐的嵌入向量集中向量的余弦相似度,进行最终的文本推荐。

8.一种基于大语言模型的文本序列推荐系统,其特征在于,该系统用于执行如权利要求1所述的一种基于大语言模型的文本序列推荐方法,该系统,包括:数据预处理模块,用于将用户点击的历史文本序列数据,转化为属性键值对集合,以构造用于大模型训练的数据集;

大语言模型预训练模块,用于将所述数据集,构造为大语言模型的提示词训练集,将序列推荐任务转换为自然语言任务后进行模型训练,在语义空间层面获取最佳的文本序列推荐结果;

序列模型微调模块,用于通过对序列模型进行微调,使得基于大语言模型的结果在序列推荐任务上得到优化;

匹配阶段模块,用于基于大语言模型阶段和序列模型阶段的处理结果,对文本内容在嵌入向量空间维度进行匹配,输出序列推荐的结果。