1.基于源语言句法增强解码的神经机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、使用句法解析工具对平行语料中的源语言句子进行句法解析,得到其句法依赖关系,再将得到的句法依赖关系向量化,生成包含源语言句子中词与词之间关系的句法感知矩阵;
Step2、通过词嵌入和位置嵌入对源语言句子进行特征编码,优化Transformer编码器中的自注意力网络,使得编码器在提取源语言句子特征的同时,利用句法感知矩阵生成一个额外的句法相关表征;
Step3、在Transformer解码器中添加一个句法-解码交叉注意力网络,利用编码-解码和句法-解码交叉注意力网络分别提取源语言句子的信息和句法相关表征的信息,将两种信息作为互补,共同指导目标语言的生成;
所述步骤Step2的具体步骤如下:
Step2.1、源语言句子编码器用于提取源语言句子的文本特征,设x=xE
其中,E
为得到源语言句子句法相关的表征,在编码器自注意力机制中引入句法感知;在执行自注意力过程中,除Transformer原有的遮挡,将在步骤Step1中执行向量化得到的句法关系矩阵作用于注意力权重矩阵W其中,syn(·)表示句法相关的遮挡;
Step2.2、为了探索注意力的高度并行性,采用多头注意力机制多次并行地执行缩放的点积注意力;多头注意力使用不同的投影矩阵将Q,K,V进行h次线性投影,在h个投影子空间中并行执行缩放点积注意,最后将这些注意结果串联起来再次获得新的表示,多头注意力允许模型共同关注来自不同位置的不同表示子空间的信息,具体表示为:MultiHead(Q,K,V)=Concat(head其中,权重矩阵W
Step2.3、生成的两个注意力表征再经过前馈网络进行线性变换和非线性激活,得到最终表征,编码器由多个相同的层堆叠而成,以上过程Step2.1-Step2.2在各层中迭代进行,当前层的输入为前一层的输出,最终得到编码器的输出,包括传统的h=h所述步骤Step3的具体步骤如下:
Step3.1、解码器拥有与编码器类似的结构,但在自注意力和前馈网络层之间增加了一个编码-解码交互注意力层,用于将源语言的编码信息融入解码过程;在此基础上增加一个句法-解码交互注意力,用于注意编码生成的句法相关表征h′,以加强源语言句法对解码过程的指导,给定对应源语句的目标语句y=yS=Att
其中,E
Step3.2、执行交叉注意力生成的编码-解码注意力表征(1)平均池化:将两个注意力输出表征经平均池化层求平均值,结果送入下游模块;
(2)门控单元:将两个注意力表征进行拼接,之后经门控单元生成一个门控变量,控制两个注意力表征在整合过程中所占权重,可用公式表示为:g=Sigmoid(linear(O′;O″))O=g*O′+(1-g)*O″ (5)
其中,(O′;O″)为拼接两个注意力表征形成的拼接变量,linear(·)和Sigmoid(·)分别表示线性网络层和非线性激活层,g即为门控变量;
(3)高速网络:拼接后的注意力表征分别经过两个不同的线性变化和非线性激活,生成一个控制变量和一个输入变量,之后生成最终表示;
T=Sigmoid(W
H=Relu(W
O=H*T+(O′;O″)*(1-T) (6)其中,W
(4)线性变换:拼接后的注意力表征仅经过线性变化层生成下游模块的输入变量;
Step3.3、整合后的表征同样要经过前馈网络做线性变换和非线性激活,最后再经softmax层得到一个概率分布,并由此选择目标词汇;
y
其中,σ(·)为非线性激活,y
L(y
由此得到目标语言句子的翻译结果,并对模型进行训练以最小化所有词语的预测和真实分布的交叉熵。
2.根据权利要求1所述的基于源语言句法增强解码的神经机器翻译方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、在通用的News Commentary v11英德、德英和IWSLT14德英,以及标准低资源WMT18英土、IWSLT15英越翻译数据上训练和测试模型;对数据进行规范化,符号化处理;
Step1.2、将规范化、符号化处理后的源语言句子经由句法解析工具进行句法解析,得到句子中词语与词语相互之间的句法依赖关系;
Step1.3、将得到的源语言句子的句法依赖关系向量化,将其转换为一个l×l的句法感知矩阵,其中l为源语言句子中词语的个数,句法感知矩阵中的每个元素即代表对应两个词语之间的句法相关性,相关则置为有效,无关则置为无效;代表词语本身与本身关系的对角线位置元素也被置为有。