欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202410807331X
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,其特征在于:所述基于检索增强和知识蒸馏的汉越跨语言查询扩展方法的具体步骤如下:Step1采集查询文档数据,并收集汉越跨语言问答公共数据集,随后对数据进行预处理,构成实验数据集;

Step2、在Step1的基础上,通过知识蒸馏和检索增强,将大规模语言模型的思维链生成能力和检索到的外部知识注入参数少的多语言预训练模型中,从而提升其思维链生成能力;

Step3、在Step2的基础上,将多语言预训练模型在汉越检索数据集上进行微调,以提升模型在汉越跨语言检索上的性能,改善汉越跨语言查询扩展任务的检索效果;

所述Step2包括三个新的查询扩展任务模块:思维链生成模块、检索增强模块和跨语言查询扩展模块;具体步骤为:Step2.1、思维链生成模块通过构建原始中文查询的零样本提示模板,并将其输入大型语言模型以生成零样本思维链;利用大型语言模型作为教师模型,将其知识蒸馏到学生模型中;

Step2.2、检索增强模块通过跨语言检索模型获取最相关的k个越南语文档;之后,通过检索增强提示模板,将中文查询语句和相关越南语文档输入mT5模型进行训练;训练的目标是生成零样本思维链,并通过不断迭代修正和完善检索增强后的链式思考,从而提升模型的推理和检索性能;

Step2.3、利用Step2.1和Step2.2构建的查询-思维链数据对和融入通过原始查询语句检索到的前k个与越南语相关的文档,将原始中文查询与检索增强的思维链进行拼接,通过向量化处理查询和文档,检索出最相关的越南语文档。

2.根据权利要求1所述的基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,其特征在于:所述Step1的具体步骤为:Step1.1、先后从维基百科和越南新闻网采集获取相应数据,并收集汉越跨语言问答公共数据集,为了完成汉越跨语言查询扩展,最终构建了若干条对齐汉越跨语言查询文档对;

Step1.2、对于维基百科和新闻网数据,从汉语和越南语的维基页面提取出文档数据Dc和Dv;通过汉语数据文档Dc获取汉语查询Qc(i),并将汉语查询Qc(i)和越南语文档Dv(j)通过跨语言词嵌入使用余弦相似度来计算查询语句和文档之间的相似度,若嵌入结果大于预设的阈值ß,则将该中文查询和越南语文档视为相似语言对,通过该方法实现了汉语查询和越南语文档相关语言的对齐;

Step1.3、对于汉越跨语言问答公共数据集,从汉越跨语言问答数据集提取出汉语到越南语(zh-vi)和越南语到汉语(vi-zh)的数据,获取其中文和越南语查询Qc(i)、Qv(i)及相关的越南语和中文文本Dv(j)、Dc(j),通过该方法来构成汉越查询扩展的数据集。

3.根据权利要求1所述的基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,其特征在于:所述步骤Step2.1的具体步骤为:Step2.1.1、针对汉越跨语言查询扩展任务的输入,使用了根据查询语句生成相应的思维链,并据此构建查询与思维链的数据对;设计了一个名为PromptCoT的提示模板,该模板能有效地引导大型语言模型生成所需的思维链;

;

Step2.1.2、在自建的数据集以及两个公开的汉越数据集上构建了查询-思维链数据对;从数据集中选取中文查询语句,并将其嵌入到PromptCoT提示模板中,从而构造出完整的提示输入;提示输入会被传递给大语言模型M,以生成与中文查询相对应的越南语思维链;将生成的越南语思维链与原始的中文查询语句进行匹配,形成了用于训练和测试所需的查询-思维链数据对。

4.根据权利要求1所述的基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,其特征在于:所述步骤Step2.2的具体步骤为:Step2.2.1、在Step2.1的基础上,针对构建的查询-思维链数据,融入通过原始查询语句检索到的前k个与越南语相关的文档,以此训练用于跨语言查询扩展的学生模型;将检索到的越南语文档与原始中文查询相结合,设计出检索增强的提示模板PromptRAG;

;

;

作为一种专为生成而设计的检索增强提示模板,其工作机制是通过优先读取和融入从一组检索到的越南语文档中筛选出的相关片段;代表从检索到的前k个文档中,第i个文档所对应的检索增强提示的编码;将所有经过编码的检索增强提示按顺序串联,形成跨语言模型解码器的整体上下文输入;

;

Step2.2.2、在训练过程中,利用检索到的相关上下文文档集来增强模型的能力,通过这些文档,训练跨语言模型以生成伪目标推理;

;

其中表示在条件y下x的生成概率,将大语言模型的思维链生成能力通过知识蒸馏注入模型,从而在推理过程中优化其性能;跨语言模型会结合T和[PAD]来生成输出;

;

将输出附加到原始查询上,从而实现对查询的扩展;

。

5.根据权利要求1所述的基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,其特征在于:所述步骤Step2.3的具体步骤为:Step2.3.1、针对中文原始查询,该查询反映了用户的初始信息需求;为了更全面地丰富查询的上下文,采用了检索增强的思维链来扩展查询内容;随后,将原始查询和检索增强的内容拼接,并进行向量化处理,将内容转换为高维向量,便于从语义相似性的角度进行比对;采用余弦相似度的方法来计算语义相似性;

。

6.根据权利要求1所述的基于检索增强和知识蒸馏的汉越跨语言查询扩展方法,其特征在于:所述步骤Step3的具体步骤为:Step3.1、将自建的数据集中汉语问题部分作为跨语言检索任务中的查询部分,使用该查询对应的越南语文档作为检索任务的相关文档;其次将汉越跨语言问答数据集中的问题部分作为中文查询,将越南语正确回答内容和相关文本段作为检索中的相关文档;最终得到跨语言的查询与相关文档的评估数据集;

Step3.2、在Step3.1的基础上,采用归一化折损累计增益(NDCG)、平均精度(MAP)、平均倒数排名(MRR)和召回率(Recall)作为跨语言查询扩展任务的评价指标;

Step3.3、在Step3.1的基础上,针对汉越跨语言查询扩展任务进行优化,在微调过程中Dropout大小为0.1,Batch size为4,最大输入长度为1024,最大输出长度为256,模型共训练了10个Epoch;当模型在验证集上获得最佳的检索分数时,程序在测试集上进行评估并记录相应分数,最终选择最佳分数作为结果保存。