欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025101097106
申请人: 浙江链捷数字科技有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于微调大语言模型的推荐数据增强方法,其特征在于,包括以下步骤:S1:针对推荐模型的推荐系统中的核心任务,结合所述推荐系统场景中的用户-物品交互特点与辅助信息,确定数据增强任务的优化目标并设计相应数据增强任务的指令模板;

S2:采用轻量级微调技术针对所述数据增强任务相关内容调整大语言模型的参数,以生成高质量且与所述核心任务高度对齐的数据,从而微调大语言模型;

S3:通过所述微调大语言模型生成新的用户-物品交互数据、补充物品特征信息、项目概要的增强数据;

S4:将所述增强数据与推荐模型的原始数据进行整合,以优化所述推荐模型的训练。

2.根据权利要求1所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述步骤S1中数据增强任务的优化目标包括用户-物品交互增强、物品属性补全及项目概要生成。

3.根据权利要求2所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述步骤S1中指令模板包括指令输入模块、指令输出模块,所述指令输入模块包括任务指令模块、任务输入模块,所述指令输出模块包括任务输出模块,所述任务指令模块、任务输入模块通过自然语言描述数据增强任务指令,以指引大语言模型生成数据并通过任务输出模块输出。

4.根据权利要求1所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述步骤S2中采用低秩适配微调技术,仅对用户-物品交互生成策略、物品属性扩展能力、项目概要生成方法进行微调,以降低计算开销并确保生成数据的质量和一致性。

5.根据权利要求4所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述低秩适配微调技术采用多目标微调,在推荐模型的预训练模型中的每层Transformer结构中添加可训练参数矩阵,通过联合优化监督目标和生成目标实现任务对齐,包括以下目标:所述用户-物品交互生成策略微调通过生成新的用户-项目交互边,填补原始数据中稀疏的交互信息,优化目标用以下公式表示:其中x表示输入,y表示输出,Z表示训练集,yt表示输出中第t个token,y

物品属性扩展能力微调通过扩展物品的特征,使物品属性包含更多的描述性信息,优化目标用以下公式表示:其中at表示第t个token的属性特征,Θ2是用于生成或扩展物品属性的秩分解矩阵参数;

项目概要生成方法微调通过为每个项目生成更具代表性的概要,以便于更精确的推荐,优化目标用以下公式表示:其中pt表示第t个token的概要,Θ3是用于生成项目概要的秩分解矩阵参数;

最终的学习目标计算为:

其中λ1、λ2、λ3是平衡各目标重要性的超参数。

6.根据权利要求1所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述步骤S3中通过微调大语言模型,从用户的历史行为中推断潜在兴趣生成的用户-物品交互数据,扩展了用户-物品交互数据规模反映用户的真实兴趣分布和行为模式,形式化为:其中是LLM根据输入提示得到的正负交互样本。

7.根据权利要求1所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述步骤S3中补充物品特征信息是基于物品的已有辅助信息,生成额外的描述性特征,生成的特征包括更详细的描述,项目属性增强表示为:其中Ai表示生成的项目i的文本属性,文本是项目i的属性细化。

8.根据权利要求1所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述步骤S3中项目概要为项目生成一段高质量的自然语言描述,概述物品的内容特点及主要属性,具体流程概述如下:其中Pi表示生成的项目i的文本概要。

9.根据权利要求1所述的一种基于微调大语言模型的推荐数据增强方法,其特征在于:所述步骤S4中将增强数据与原始数据以统一格式整合形成新的训练集,并适配不同所述推荐模型的需求,以无缝整合到多种现有的所述推荐模型中,以优化所述推荐模型的训练。