1.基于多类型词信息引导的汉越跨语言摘要生成方法,其特征在于:所述基于多类型词信息引导的汉越跨语言摘要生成方法的具体步骤如下:Step1、语料数据集构建:获取汉越跨语言摘要数据集、汉越翻译数据集;
Step2、对汉语-越南语语料预处理:对中文和越南语数据进行分词;
Step3、获取中文文本中的关键词:对中文文本,使用贪婪算法抽取出ROUGE值最大的重要句子,此后采用TextRank算法抽取关键词;
Step4、构建汉越双语概率词典:使用构建的汉越翻译数据集,利用fast-align方法来构建汉越双语概率词典;
Step5、利用多类词信息引导摘要的生成:模型以Transformer作为基本框架,并基于指针生成网络来利用编码出的关键词信息及汉越双语概率词典生成的词对齐信息,利用多类词信息来指导摘要的生成;
所述Step5的具体步骤如下:
Step5.1、利用汉越双语概率词典获得关键信息词的翻译概率;
基于指针生成网络中的复制机制,将关键词信息引导下具有重要信息的源文本复制词作为关键信息词,源文本中关键信息词的上下文信息对越南语侯选对齐词的最终选择有着重要的作用,为了利用源文本关键信息词的上下文信息,通过翻译注意力模块来利用构建的汉越双语概率词典,模型因而能够动态地生成侯选对齐词的翻译概率:式中:w
Step5.2、利用关键词信息引导对源文本重要信息编码,以使生成的摘要词具有源文本重要信息、符合原文事实;利用词对齐信息引导关键信息的双语对齐,将关键信息准确地用于越南语的摘要词生成中;
在解码端,相比于传统的Transformer架构,每一个解码层包含了自注意力模块、基于关键词信息引导的编解码注意力模块、基于指针生成网络的汉越双语词对齐信息编解码注意力模块及前馈神经网络四个模块;
首先,解码端将输入序列Y={y
y
然后,依次通过两个编解码注意力模块,在基于关键词信息引导的编解码注意力模块中,将自注意力模块的输出yy
y
对于上述两个编解码注意力模块,采用多头注意力模块来获取多个子空间下不同的信息表征,此时每一个头都利用了点积注意力;其中,将关键词或中文文本序列经编码器编码后,输入到基于关键词信息引导的编解码注意力模块、基于指针生成网络的汉越双语词对齐信息编解码注意力模块作为查询Q、键K,自注意力模块或基于关键词信息引导的编解码注意力模块的输出作为值V,每一个头的编解码注意力计算为:式中:d
将每个注意力头相连:
MultiHead(Q,K,V)=Concat(head式中:
最后将表征y
y
该模块包含两个线性变换,中间有一个ReLU激活函数,其对应计算公式为:FNN(x)=max(w
上述LN表示层归一化;
为利用双语概率词典中的词对齐信息,模型从词对齐编解码注意力模块引入指针生成网络,使用Pp
式中:W
式中:
2.根据权利要求1所述的基于多类型词信息引导的汉越跨语言摘要生成方法,其特征在于:所述Step1中,基于LCSTS微博短文本中文摘要数据集,通过对中文单语摘要数据集,使用谷歌翻译并采取往返翻译策略得到汉越跨语言摘要数据集。
3.根据权利要求1所述的基于多类型词信息引导的汉越跨语言摘要生成方法,其特征在于:所述Step2中,对所有中文数据使用jieba分词工具进行处理,对越南语使用VnCoreNLP分词工具进行分词。
4.根据权利要求1所述的基于多类型词信息引导的汉越跨语言摘要生成方法,其特征在于:所述Step3中,首先使用贪婪搜索策略,利用oracle抽取出基于中文文本摘要下最大的ROUGE值的重要句子集GG
式中:G
式中:k表示对重要句子抽取关键词的个数,k≤p。
5.根据权利要求1所述的基于多类型词信息引导的汉越跨语言摘要生成方法,其特征在于:所述Step4的具体步骤如下:基于构建的汉越翻译数据集,在汉-越和越-汉两个方向上使用fast-align工具抽取10个候选对齐词,并保留具有双向对齐概率的词;然后通过最大似然估计计算双向对齐词的平均概率,得到侯选对齐词的翻译概率式中:
基于上述构建的汉越双语概率词典,将源语言文本输入的一个单词