1.基于动态潜在关键信息约束的跨语言长文档摘要方法,其特征在于:所述方法包括:Step1、跨语言长文档摘要数据集构建:提出基于提示机制的大语言模型构建跨语言长文档摘要方法,并引入往返翻译策略,构建具有高语义一致性跨语言长文档摘要数据集;
Step2、基于动态潜在关键信息约束的跨语言长文档摘要模型构建:通过将跨语言长文档摘要任务转化为抽取动态关键信息和生成源语言摘要与目标语言摘要混合方法,提高模型对长文档语义信息的完整建模能力;并引入源语言摘要作为辅助信息,通过联合解码增强跨语言语义一致性;
Step3、基于动态潜在关键信息约束的跨语言长文档摘要模型训练:引入一致性损失函数通过梯度协同机制实现端到端联合优化,用于生成更加连贯、准确的跨语言长文档摘要;
Step4、对长文档内容进行跨语言摘要生成:搭建完整的跨语言长文档摘要原型系统;借助Sanic、VUE技术框架,用于实现用户通过前端界面提交长文档,后端调用模型生成摘要,并将处理结果以直观的方式展示给用户的完整功能流程;
所述Step2包括:
Step2.1、构建动态关键信息抽取器模块:该模块基于预训练语义模型对输入的Step1中构建的长文档摘要数据集中的长文档的句子进行分别建模,通过对句子进行评分选出得分最高的句子组合,实现对文档中关键信息句子的自动识别与抽取;
Step2.2、构建跨语言摘要生成器模块:该模块以源语言摘要为先验条件,采用共享编码器架构同时建模源语言摘要与目标语言摘要;
所述Step3包括:
Step3.1、将通过贪婪搜索的方法得到的ROUGE分值最高得分句子组作为监督信号,计算动态关键信息抽取器模块抽取句子组和之间的交叉熵损失作为动态关键信息抽取器模块损失的一部分;具体计算公式如下所示:;
其中,表示参数为的动态关键信息抽取器模块评分函数;X为文档中所有片段的集合;表示监督信号的片段数量,为查询向量,表示第个文本片段;
Step3.2、将生成的单语摘要和跨语言摘要和参考的单语摘要和跨语言摘要一起计算损失作为生成损失;具体的计算方法如下所示:;
其中,表示参数为的跨语言摘要生成器模块条件概率分布;为第步生成的源语言摘要序列,为第步生成的目标语言摘要序列;、表示在时间步之前已生成的源语言、目标语言摘要序列;为最大时间步,为基于标量得分,对整个文档的片段进行排序,并选择出的得分最高的个片段;
Step3.3、采用基于动态权重的一致性对齐策略,通过约束不同模块的隐空间表示提升模型一致性;通过计算动态关键信息抽取器模块概率分布与跨语言摘要生成器模块动态权重分布之间的KL散度,实现跨模块的协同优化;
;
其中,表示动态关键信息抽取器模块对片段的选择概率分布;表示跨语言摘要生成器模块动态权重调整后的分布;表示KL散度,表示度量两个概率分布的差异,通过衡量两个概率分布之间的差异,促使动态关键信息抽取器模块和跨语言摘要生成器模块在决策时趋向一致。
2.根据权利要求1所述的基于动态潜在关键信息约束的跨语言长文档摘要方法,其特征在于:所述Step1包括:Step1.1、利用基于提示机制的大语言模型翻译方法,将SumSurvey长文档摘要数据集中的英文参考摘要转化为中文跨语言摘要;
Step1.2、利用机器翻译系统对所生成的中文跨语言摘要进行回译操作,得到对应的英文回译摘要;
Step1.3、对英文回译摘要与原始的英文参考摘要之间的文本内容进行相似度评估,计算ROUGE-1和ROUGE-2评分指标;利用评分指标与阈值相比,保留符合阈值的摘要对,其余摘要对予以剔除。
3.根据权利要求1所述的基于动态潜在关键信息约束的跨语言长文档摘要方法,其特征在于:所述Step2.1包括:Step2.1.1、在跨语言长文档摘要任务中,将连续的文本片段分组分别计算每个片段的编码向量;
Step2.1.2、通过多层感知机MLP将编码向量映射到标量得分,其中,为抽取器的参数,为查询向量,表示第个文本片段,表示参数为的动态关键信息抽取器模块评分函数;
Step2.1.3、基于标量得分,对整个文档的片段进行排序,并选择得分最高的个片段作为摘要生成的输入:;
其中,为文档中所有片段的集合;为预设的句子片段数量,为选择得分最高的个片段。
4.根据权利要求1所述的基于动态潜在关键信息约束的跨语言长文档摘要方法,其特征在于:所述Step2.2包括:Step2.2.1、将摘要生成目标替换为源语言摘要和目标语言摘要的顺序连接;具体如下公式所示:;
其中,为模型生成的源语言摘要, 为模型生成的目标语言摘要,和分别表示输出摘要的起始标记和结束标记,而是用于分隔和的特殊标记;
Step2.2.2、在新的生成目标下,跨语言摘要生成器模块将得分最高的作为输入,解码器首先学习生成,然后在和的条件下生成,具体如下公式所示:;
其中,表示模型参数为的跨语言摘要生成器模块条件概率分布;表示在给定查询向量 和的条件下,模型生成整个目标语言摘要序列 的总概率,为第步生成的目标语言摘要序列;表示在时间步之前已生成的目标语言摘要序列;为最大时间步。
5.根据权利要求1所述的基于动态潜在关键信息约束的跨语言长文档摘要方法,其特征在于:所述Step4包括:Step4.1、将训练好的基于动态潜在关键信息约束的跨语言长文档摘要模型保存为“.pth”文件,并通过Flask框架将基于动态潜在关键信息约束的跨语言长文档摘要模型加载至内存中;
Step4.2、搭建完整的跨语言长文档摘要原型系统,用于提供高效的核心信息提取与摘要生成服务;系统核心功能包括:长文档预处理、基于关键信息抽取的摘要生成、跨语言摘要转换及结果可视化展示;
Step4.3、通过Web端调用部署在服务器上的基于动态潜在关键信息约束的跨语言长文档摘要模型,对输入的长文档进行摘要抽取,并将生成的摘要结果实时展示在前端页面,实现用户交互式的摘要服务。
6.基于动态潜在关键信息约束的跨语言长文档摘要装置,其特征在于:所述装置包括:用于执行如权利要求1至5任一项所述的基于动态潜在关键信息约束的跨语言长文档摘要方法的模块。