1.基于双重注意力解码网络的跨语言摘要方法,其特征在于:所述方法的具体步骤如下:Step1、通过爬虫技术抓取中越双语网站的新闻文档和摘要,通过过滤方式对新闻文本内容进行清洗,分类对应两个语种内容的文档和摘要,构建越南语新闻文档和中文摘要数据集;
Step2、利用词嵌入和位置嵌入分别将越南语新闻文档和中文摘要分别进行特征编码,在特征编码后分别通过多头注意力机制进行特征提取;通过双重注意力机制,获得越南语新闻文档和中文摘要的映射关系;将解码出的中文摘要与真实标签的摘要进行一个损失计算,将编解码模型参数更新来不断训练模型;
所述Step2的具体步骤如下:
Step2.1、对于源语言文档 和目标语言摘要
经过词嵌入和位置嵌入得到高维张量,其中 表示在源语言A上第i个词,
表示在目标语言B上第j个词;
Step2.2、源语言文档和目标语言摘要通过编码端和解码端的多头注意力机制进行特征提取;多头自注意力机制通过8个相互独立的注意力机制,从不同位置的子空间提取特征,最后再拼接合并各个头,每个头计算的过程描述为如公式(1)所示:其中,Q,K,V,d分别代表查询向量Q、键矩阵K、值矩阵V和向量维度d;
之后每个头计算出的子序列再拼接组装后得到上下文的摘要向量C,如公式(2)所示:Step2.3、双重注意力机制模块DA则在输出的摘要向量C和查询向量Q上面进行处理,通过Q的信息再一次来增强C的特征;在双重注意力机制模块DA输出增强后的摘要向量C'的过程中,它会生成两个不同的向量,分别命名为信息向量I和门控向量G;信息向量I是由查询向量Q和摘要向量C分别通过两个不同的线性变换生成,它是为了增强含有真实标签的查询向量对摘要向量的影响,使摘要向量中包含着查询向量的重要信息,而不是简简单单地算出查询向量对应到编码器文本内容的关注权重;门控向量G同样由查询向量Q和摘要向量C分别通过两个不同的线性变换生成,但是还需通过一个σ函数把向量数值映射到区间[0,1]之间,最后,计算信息向量I和门控向量G的哈达马积,得到增强后的摘要向量C';其中,信息向量I的生成过程如公式(3)所示,查询向量Q通过一个没有偏置的线性变化,摘要向量C通过一个有偏置的线性变换;门控向量G和信息向量I的计算过程相同,仅在后面接上sigmoid的函数变换,具体过程如公式(4)所示:其中, 代表查询向量Q计算出信息向量I的权重矩阵, 代表摘要向量C计算出信息向量I的权重矩阵, 代表查询向量Q计算出门控向量G的权重矩阵, 代表摘要向量C计i g算出门控向量G的权重矩阵,b就是信息向量I的偏置,b就是门控向量G的偏置;
Step2.4、最后,信息向量I和门控向量G相乘,再通过一个残差连接得到信息增强后的摘要向量C',这个过程描述成公式(5):C'=C+I*G (5)双重注意力机制模块DA的整个过程表示成公式(6):
则训练整个Transformer模型以达到最大化目标语言摘要的条件概率为:其中上式(7)为模型损失的计算,A代表源语言,B代表目标语言,m代表源语言句子共有m个单词。
2.根据权利要求1所述的基于双重注意力解码网络的跨语言摘要方法,其特征在于:所述Step1的具体步骤为:Step1.1、采用基于Scrapy框架的爬虫从一些中越双语新闻爬取大量双语新闻文档和对应摘要;
Step1.2、对双语文档摘要进行过滤筛选,过滤筛选的方式如下所示:(1)、根据不同网站的页面格式进行正则规则过滤,得到过滤后编号了的对应双语新闻文档和摘要(2)、把双语文档根据编号得到对应的越南语新闻文档和中文摘要数据集。