1.融合BERT与词嵌入双重表征的汉越神经机器翻译方法,其特征在于:所述方法包括:Step1、收集用于训练平行句对抽取模型的汉越平行语料;
Step2、收集已经预训练的中文BERT预训练语言模型参数以及词典;
Step3、对源语言序列分别进行BERT预训练语言模型预训练表征与词嵌入表征;
Step4、使用交叉注意力机制使经过BERT预训练语言模型预训练的源语言序列表征受到词嵌入表征的约束,将经过BERT预训练语言模型训练后的源语言序列表征和词嵌入表征进行拼接融合得到融合表征作为编码器的输入;
Step5、使用编码器使得融合表征中两种不同来源的表征达到深层动态交互融合;
Step6、利用BERT预训练语言模型与词嵌入双重表征进行神经机器翻译模型的训练。
2.根据权利要求1所述的融合BERT与词嵌入双重表征的汉越神经机器翻译方法,其特征在于:所述Step1中,运用爬虫技术在互联网收集了汉越双语平行句对,将收集后得到的数据进行了清洗以及Tokenize处理,构建成了汉越双语平行句对的数据集,把该数据集作为实验训练、测试、验证数据。
3.根据权利要求1所述的融合BERT与词嵌入双重表征的汉越神经机器翻译方法,其特征在于:所述Step2中,收集google发布的中文BERT预训练语言模型参数以及词典,在Pytorch框架下将模型参数和词典实例化为BERT预训练语言模型。
4.根据权利要求1所述的融合BERT与词嵌入双重表征的汉越神经机器翻译方法,其特征在于:所述Step3的具体步骤为:Step3.1、对汉越单语语料根据BERT预训练语言模型词典以及训练语料词典进行分词;
Step3.2、将两种分词后得到的本文ID分别输入词嵌入以及BERT预训练语言模型进行表征。
5.根据权利要求1所述的融合BERT与词嵌入双重表征的汉越神经机器翻译方法,其特征在于:所述Step4的具体步骤为:Step4.1、使用BERT预训练语言模型表征和词嵌入表征进行交叉注意力机制计算,使用词嵌入表征作为查询条件,通过BERT预训练语言模型表征计算得到注意力权重,之后用该权重和BERT预训练语言模型表征进行计算,使BERT预训练语言模型表征受到词嵌入表征约束;
Step4.2、将词嵌入表征进行自注意力机制计算,加强该表征内部联系;
Step4.3、将Step4.1和Step4.2得到的表征进行拼接得到融合表征。
6.根据权利要求1所述的融合BERT与词嵌入双重表征的汉越神经机器翻译方法,其特征在于:所述Step5中,编码器设计自注意力机制使得融合表征中两种不同来源的表征进行深层动态交互融合。
7.根据权利要求6所述的融合BERT与词嵌入双重表征的汉越神经机器翻译方法,其特征在于:所述Step6中,经过Step5自注意力机制后得到的表征参与Transformer模型的训练,实现将BERT预训练语言模型与经过Transformer语言模型训练的词嵌入部分的融合。