1.渐进式预训练和提示增强低资源语言的跨语言摘要方法,其特征在于:所述方法的具体步骤如下:Step1、在LCSTS中文短文本数据集基础上采用往返翻译策略获得标注数据集,对数据集进行预处理,构成实验数据集;
Step2、在Step1的基础上,提出一种基于mBART模型的渐进式预训练方法,来构建渐进式预训练任务模块对摘要模型进行持续预训练,最终得到预训练好的摘要模型mCrossBART;
Step3、在Step2的基础上,提出一种基于mCrossBART模型使用强化学习优化离散提示方法,在预训练好的摘要模型mCrossBART基础上在汉越摘要数据集上进行提示微调,生成输入越南语文本对应的中文摘要。
2.根据权利要求1所述的渐进式预训练和提示增强低资源语言的跨语言摘要方法,其特征在于:所述Step1的具体步骤为:Step1.1、采用从新浪微博中提取LCSTS数据,该数据来自于新浪微博,每个语料由短文本内容和相应的参考摘要两部分组成;
Step1.2、根据谷歌翻译工具使用往返翻译策略将中文文本正向翻译成越南语文本,然后将越南语文本向后翻译回中文文本;
Step1.3、计算原始中文文本和翻译得到中文文本的ROUGE值并保留ROUGE-1值大于0.6且ROUGE-2的值大于0.2的文本-摘要对。
3.根据权利要求1所述的渐进式预训练和提示增强低资源语言的跨语言摘要方法,其特征在于:所述Step2中包括:Step2.1、一种基于mBART模型的渐进式预训练方法中,包括了四个新的渐进式预训练任务模块:单语摘要任务模块MS、机器翻译任务模块MT、拼接摘要任务模块SCLS和跨语言摘要任务模块CLS,摘要模型对于不同的预训练任务模块采用不同的输入语言对,最终得到预训练好的摘要模型mCrossBART。
4.根据权利要求3所述的渐进式预训练和提示增强低资源语言的跨语言摘要方法,其特征在于:所述Step2.1的具体步骤为:Step2.1.1、在基础模型mBART上执行单语摘要任务模块MS;
对于给定的越南语文本
Step2.1.2、在Step2.1.1的基础上,执行机器翻译任务模块MT;
对于给定的越南语摘要
Step2.1.3、在Step2.1.2的基础上,执行拼接摘要任务模块SCLS;
对于给定的越南语文本
Step2.1.4、在Step2.1.3的基础上,执行跨语言摘要任务模块CLS;
在跨语言摘要训练过程中,对于给定的越南语文本
5.根据权利要求1所述的渐进式预训练和提示增强低资源语言的跨语言摘要方法,其特征在于:所述Step3的具体步骤为:Step3.1、使用distilGPT-2模型从词表中选择单词初始化离散提示,然后将单词初始化离散提示与越南语文本组合拼接以创建输入序列;随后,利用渐进式预训练的mCrossBART模型生成此拼接输入序列的中文摘要,计算mCrossBART模型生成的中文摘要和参考摘要之间的ROUGE和BERTScore分数;
Step3.2、在Step3.1的基础上,使用中文摘要和参考摘要之间的ROUGE和BERTScore分数作为奖励值;在微调的过程中基于强化学习利用奖励值微调插入distilGPT-2模型的MLP层的参数;
Step3.3、在Step3.2的基础上,已经通过离散提示对摘要生成场景进行优化,将最大训练次数设置为20次;当预训练好的摘要模型mCrossBART在开发集上获得最佳的ROUGE和BERTScore分数时,保存最优的离散提示,使用该离散提示在测试集上进行评估并记录相应的ROUGE和BERTScore分数,最终选择最佳分数作为结果保存。
6.根据权利要求5所述的渐进式预训练和提示增强低资源语言的跨语言摘要方法,其特征在于:所述Step3.1的具体步骤为:Step3.1.1使用distilGPT-2模型从词表中选择单词生成初始提示,然后将单词初始化离散提示与越南语文本组合拼接以创建输入序列;随后,利用渐进式预训练的mCrossBART模型生成此拼接输入序列的中文摘要;
Step3.1.2 在Step3.1.1的基础上,实验采用的自动评估指标:ROUGE-1和ROUGE-2分别评估生成的摘要和相应的参考摘要之间的一元和二元重叠;ROUGE-L用于查找最长公共子序列的长度;对于任意重叠的 n 元语法,ROUGE-N 的定义表示为以下形式;
其中Refsum表示参考文献摘要集合,S表示Refsum中的一个参考摘要,n-gram表示摘要中n个连续词的序列,CountStep3.2.3 在Step3.1.1的基础上,实验采用的自动评估指标BERTScore用来比较句子相似度和质量的评价指标;它基于预训练的 BERT 模型,使用bert-base-chinese作为越南语到中文和缅甸语到中文数据集的计算模型,对于Zh2EnSum 数据集使用bert-base-uncased模型作为越南语到中文和缅甸语到中文数据集的计算模型,其中,
7.根据权利要求5所述的渐进式预训练和提示增强低资源语言的跨语言摘要方法,其特征在于:所述Step3.2的具体步骤为:Step3.2.1、提取distilGPT-2模型在时间
其中
Step3.2.3、在Step3.2.1的基础上,在每个时间步