1.一种基于交叉注意对齐和多语言互注意的跨语言摘要方法,其特征在于,包括以下步骤:步骤1,获取单语摘要数据集的原文本和摘要,并对数据进行处理,构建跨语言摘要数据集;
步骤2,将跨语言摘要数据集中的数据输入已训练好的多任务跨语言摘要模型并生成跨语言摘要,所述多任务跨语言摘要模型包括:2.1)对跨语言摘要数据集中的源语言文档、源语言摘要和目标语言摘要进行分词,获取词嵌入向量表示,进行编码和初步解码;2.2)利用交叉注意对齐机制,优化跨语言摘要的注意力分布;2.3)利用多语言互注意机制,优化双语隐藏状态表示;
所述利用交叉注意对齐机制,优化跨语言摘要的注意力分布,具体为:2.2.1)通过交叉注意机制,分别计算跨语言摘要和单语言摘要对源文本的注意力分布;2.2.2)通过交叉注意对齐机制,优化跨语言摘要的注意力分布:使用同语言摘要编码器解码器之间的交叉注意引导跨语言摘要的交叉注意,如式(5)所示:(5)
其中,是源语言摘要解码器对源语言文本的隐藏状态的注意力分布,即单语言摘要的注意力分布,是目标语言摘要解码器对源语言文本的隐藏状态的注意力分布,即跨语言摘要的注意力分布;
所述利用多语言互注意机制,优化双语隐藏状态表示,具体为:
2.3.1)利用多语言互注意机制,优化双语隐藏状态表示:在目标语言摘要解码器的第p时间步,把目标语言解码器的隐藏状态作为查询向量Q,计算和源语言解码器的最后p个隐藏状态{, ,..., }之间的相关性,通过多语言互注意模块对这p个隐藏状态进行加权求和,得到目标语言解码器隐藏状态对源语言解码器隐藏状态的上下文注意结果表示,如式(6)所示:(6)
其中,是指目标语言摘要解码器在第p时间步的隐藏状态,是指源语言摘要解码器在前p时间步的所有隐藏状态;
同样地,在源语言摘要解码器的第p时间步,把源语言解码器的隐藏状态作为查询向量Q,计算和目标语言解码器的最后p个隐藏状态{, ,..., }之间的相关性,通过多语言互注意模块对这p个隐藏状态进行加权求和,得到源语言解码器隐藏状态对目标语言解码器隐藏状态的上下文注意结果表示,如式(7)所示:(7)
其中,是指源语言摘要解码器在第p时间步的隐藏状态,是指目标语言摘要解码器在前p时间步的所有隐藏状态;
2.3.2)利用生成的上下文注意结果表示和生成的目标语言解码器隐藏状态对源语言解码器隐藏状态的上下文注意结果表示产生摘要:在时间p步,跨语言摘要的下一个单词的概率计算如式(8)所示:(8)
其中,函数F包括融合拼接后的和信息的MLP层、得到中间向量表示的前馈层、学习中间向量的复杂模式和特征的线性层和预测单词概率分布的softmax层。
2.根据权利要求1所述的一种基于交叉注意对齐和多语言互注意的跨语言摘要方法,其特征在于,所述步骤1具体为:步骤101,利用爬虫技术,从互联网上的数据集网站中爬取单语文章及其摘要的文本数据;
步骤102,通过往返翻译策略和语篇蕴含策略对数据进行处理,构建跨语言摘要数据集。
3.根据权利要求2所述的一种基于交叉注意对齐和多语言互注意的跨语言摘要方法,其特征在于,所述步骤102具体为:首先对步骤101中爬取的单语摘要数据集中的文本和对应的摘要进行往返翻译处理;使用高性能的机器翻译API,将源语言文本-摘要对中的摘要翻译成目标语言,再将结果翻译回源语言;对源语言文本和翻译回的摘要组成的文本-摘要对进行ROUGE计算;如果ROUGE值大于设定的阈值,则保留对应的源语言文本-目标语言摘要对,否则,该源语言文本-目标语言摘要对将被过滤;随后,对通过往返翻译策略筛选出的数据进一步应用语篇蕴含策略进行过滤;利用蕴含模型计算翻译后的摘要与原始摘要之间的蕴含分数;如果蕴含分数超过预定义的阈值,则保留相应的源语言文本-目标语言摘要对;否则,该源语言文本-目标语言摘要对同样会被过滤;通过以上步骤,最终构建出跨语言摘要数据集。
4.根据权利要求2所述的一种基于交叉注意对齐和多语言互注意的跨语言摘要方法,其特征在于,所述步骤2.1中对跨语言摘要数据集中的源语言文档、源语言摘要和目标语言摘要进行分词,获取词嵌入向量表示,进行编码和初步解码,具体为:
2.1.1)对跨语言摘要数据集中的源语言文档、源语言摘要和目标语言摘要的句子进行词级别的分词处理;对于英文文本,直接使用空格分词英文文本;对于中文文本,采用jieba库进行分词处理;
2.1.2)对分词处理后的数据进行数据预处理:加载BERT分词器,并设置一些token以及它们对应的vocab ID;将每个句子列表中的句子转换为空格分隔的字符串,筛选出长度大于指定最小长度的句子;对这些过长的句子进行截断,使其长度不超过指定的最大长度,并确保最终句子数量不超过设定的最大句子数量;使用BERT分词器将筛选后的句子转换为字词,在每个句子的开头添加“[CLS]”标记,在结尾添加“[SEP]”标记,并将分词结果转换为它们对应的vocab ID;在序列尾部添加“[PAD]”标记将较短的序列填充到与最长序列相同的长度;
2.1.3)基于2.1.2)的结果,构建源序列和目标序列,并将它们转化为嵌入向量表示,进行编码和初步解码;通过2.1.2)处理的源语言文档直接作为源序列输入到编码器中;对于教师强制策略下的解码器,通过2.1.2)处理的源语言摘要和目标语言摘要分别作为单语言摘要和跨语言摘要的目标序列,在输入到解码器时,目标序列在每个时间步都需要向右偏移一个位置,这样解码器在每个时间步都能接收到标准摘要的下一个标记作为输入;同时,未经偏移的目标序列用于与解码器的预测计算损失;通过torch.tensor()函数,将源序列和目标序列转换为PyTorch深度学习框架中的张量,这些张量随后被作为神经网络模型的输入;接收到输入张量的词嵌入层将其转换为对应的词嵌入向量;源序列的词嵌入向量被送入到编码器中进行编码,生成上下文向量H={h1,h2,…,hn};经过偏移的目标序列的词嵌入向量被送入到跨语言和单语言解码器的自注意力层进行初步解码,从而生成跨语言解码器的隐藏状态ht和源语言解码器的隐藏状态hs。
5.根据权利要求4所述的一种基于交叉注意对齐和多语言互注意的跨语言摘要方法,其特征在于,所述步骤2.2.1中通过交叉注意机制,分别计算跨语言摘要和单语言摘要对源文本的注意力分布,具体为:把跨语言解码器的隐藏状态ht和源语言解码器的隐藏状态hs分别作为查询向量,计算和源对话上下文向量H的相关性,从而得到跨语言解码器对原文的交叉注意权重矩阵和单语言解码器对原文的交叉注意权重矩阵,如式(1)和式(2)所示,(1)
(2)
其中,和分别代表跨语言注意过程中的查询和键,是跨语言注意过程中查询和键的维度,和分别代表单语言注意过程中的查询和键,是单语言注意过程中查询和键的维度;
利用和这两个注意力分布分别对源对话上下文向量H进行加权求和,得到跨语言解码器对原文的上下文注意结果表示和单语言解码器对原文的上下文注意结果表示,如式(3)和式(4)所示:(3)
(4)
其中,和分别代表跨语言注意和单语言注意过程中的值矩阵,两个上下文结果将分别参与到生成跨语言摘要和单语摘要的过程中。
6.根据权利要求1所述的一种基于交叉注意对齐和多语言互注意的跨语言摘要方法,其特征在于,还包括训练多任务跨语言摘要模型,具体为:在多任务学习的单语言解码器和跨语言解码器预测出其对应的摘要后,用负对数似然损失同时对两个任务进行优化,单个样例的损失为:(9)
其中,代表源文档,表示源语言摘要,表示目标语言摘要;α是用于平衡单语摘要任务和跨语言摘要任务权重的超参数;表示第i个时间步中的源语言摘要,表示第i个时间步中的目标语言摘要,单语言解码器的解码结果为源语言摘要,跨语言解码器的解码结果为目标语言摘要;
此外,还加入最小化KL散度损失约束跨语言摘要的注意力分布,总损失计算为:
(10)
其中,β是用于平衡不同损失函数权重的超参数。