欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024113909938
申请人: 南昌航空大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种个性化问答大语言模型的生成方法,其特征在于,所述方法包括:提取专业知识内容,对所述专业知识内容进行预处理,以得到专业知识数据集;

采用预设模型对所述专业知识数据集进行提问,以生成问答数据集;

所述采用预设模型对所述专业知识数据集进行提问,以生成问答数据集的步骤包括:采用预设大语言模型对所述专业知识数据集进行内容提问,以生成专业问题及专业答案,基于所述专业问题以及所述专业答案生成问答数据集;

判断所述问答数据集是否符合HHH标准,其中,所述HHH标准为真实性、健康性以及帮助性;

若是,则将所述问答数据集按照基础问答模型的微调格式进行排版;

基于所述问答数据集对基础问答模型进行P-tuning v2高效参数微调得到微调基础问答模型,将所述微调基础问答模型与所述基础问答模型进行结合,以得到结合基础问答模型;

获取具体任务,并获取所述具体任务相关的数据集,基于所述数据集对所述结合基础问答模型进行LoRA高效参数微调,以得到微调结合基础问答模型,将所述微调结合基础问答模型与所述结合基础问答模型进行结合,以得到个性化大型语言模型;

所述基于所述数据集对所述结合基础问答模型进行LoRA高效参数微调的步骤包括:对预训练的权重矩阵进行低秩分解,以得到适应矩阵A以及适应矩阵B;

将所述适应矩阵A以及所述适应矩阵B设置为可训练参数;

通过反向传播算法最小化适应任务的损失函数以更新所述适应矩阵A以及所述适应矩阵B,以对所述结合基础问答模型进行微调。

2.根据权利要求1所述的个性化问答大语言模型的生成方法,其特征在于, 所述提取专业知识内容,对所述专业知识内容进行预处理的步骤包括:提取抗生素领域的专业知识,将所述抗生素领域的专业知识转化为txt文档内容;

对所述txt文档内容进行审核、排版、标注以及修补。

3.根据权利要求1所述的个性化问答大语言模型的生成方法,其特征在于,所述P-tuning v2高效参数微调的表达式为:;

式中,⊕表示融合操作,表示预训练参数集合,表示微调任务的参数集合,表示最小化任务特征参数的目标函数,表示任务特定的损失函数。

4.根据权利要求1所述的个性化问答大语言模型的生成方法,其特征在于,所述LoRA高效参数微调的表达式为:;

式中,x表示输入向量,b表示偏置项,表示低秩矩阵,表示预训练好的模型权重,A表示适应矩阵A,B表示适应矩阵B,其中,,W表示预训练好的权重矩阵。

5.一种个性化问答大语言模型的生成系统,其特征在于,所述系统包括:提取处理模块,用于提取专业知识内容,对所述专业知识内容进行预处理,以得到专业知识数据集;

提问生成模块,用于采用预设模型对所述专业知识数据集进行提问,以生成问答数据集;

所述提问生成模块包括:

提问单元,用于采用预设大语言模型对所述专业知识数据集进行内容提问,以生成专业问题及专业答案,基于所述专业问题以及所述专业答案生成问答数据集;

判断单元,用于判断所述问答数据集是否符合HHH标准,其中,所述HHH标准为真实性、健康性以及帮助性;

排版单元,用于若所述问答数据集符合HHH标准,则将所述问答数据集按照基础问答模型的微调格式进行排版;

第一微调模块,用于基于所述问答数据集对基础问答模型进行P-tuning v2高效参数微调得到微调基础问答模型,将所述微调基础问答模型与所述基础问答模型进行结合,以得到结合基础问答模型;

第二微调模块,用于获取具体任务,并获取所述具体任务相关的数据集,基于所述数据集对所述结合基础问答模型进行LoRA高效参数微调,以得到微调结合基础问答模型,将所述微调结合基础问答模型与所述结合基础问答模型进行结合,以得到个性化大型语言模型;

所述第二微调模块包括:

分解单元,用于对预训练的权重矩阵进行低秩分解,以得到适应矩阵A以及适应矩阵B;

设置单元,用于将所述适应矩阵A以及所述适应矩阵B设置为可训练参数;

更新单元,用于通过反向传播算法最小化适应任务的损失函数以更新所述适应矩阵A以及所述适应矩阵B,以对所述结合基础问答模型进行微调。

6.根据权利要求5所述的个性化问答大语言模型的生成系统,其特征在于,所述提取处理模块包括:提取单元,用于提取抗生素领域的专业知识,将所述抗生素领域的专业知识转化为txt文档内容;

处理单元,用于对所述txt文档内容进行审核、排版、标注以及修补。