1.基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、收集中英各领域平行句对数据并按照机器翻译清洗规则进行预处理,同时为区分各领域平行句对,对各领域平行句对进行领域标签划分;
Step2、利用领域标签划分的中英各领域平行句对数据,结合多任务训练的策略得到多领域神经机器翻译基模型;
Step3、根据领域划分的中英各领域平行句对数据对得到的基模型分别进行微调,进而得到各领域的翻译模型;
Step4、利用各领域翻译模型生成各领域的掩码子结构组件,同时融合各领域的掩码子结构组件得到领域感知的掩码子结构;
Step5、通过领域标签划分的中英各领域平行句对数据,以及领域感知的掩码子结构,结合多任务训练的策略得到最终的多领域神经机器翻译模型;
所述Step1的具体步骤如下:
从机器翻译大赛网站收集得到通用领域的数据,从UM‑Corpus语料库中收集多个特定领域的数据,包括教育、法律、新闻、科学、口语、字幕和论文领域;
对通用领域数据和各个特定领域数据按照一般的神经机器翻译数据处理规则进行清洗;对各领域的源句子和目标句子加上所属的领域标签;
所述Step3包括:
使用各特定领域的数据语料对得到的多领域神经机器翻译基模型进行微调;
使用Adam作为模型优化器;使用标签平滑交叉熵作为损失函数对模型进行评估。
2.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step2的具体步骤如下:通过Transformer模型对构建并清洗好的各领域数据语料,结合多任务学习的训练策略进行训练,从而得到一个多领域神经机器翻译基模型;
使用Adam作为模型优化器;使用标签平滑交叉熵作为损失函数对模型进行评估。
3.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step4包括:通过各个特定领域的神经机器翻译模型生成各个领域的掩码子结构组件;
通过各个领域的掩码子结构组件进行融合得到领域感知的掩码子结构。
4.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step5的具体步骤如下:通过Transformer模型对构建并清洗好的各领域数据语料、领域感知的掩码子结构,结合多任务学习的训练策略进行训练,从而得到最终的多领域神经机器翻译模型;
使用Adam作为模型优化器;使用标签平滑交叉熵作为损失函数对模型进行评估。
5.根据权利要求1所述的基于领域感知的掩码子结构的多领域自适应神经机器翻译方法,其特征在于:所述Step4中还包括:领域感知的掩码子结构由领域感知的自适应编码端和领域感知的自适应解码端两部分构成;
对于领域感知的自适应编码端和领域感知的自适应解码端,除了具有多头注意力机制、全连接前馈网络,以及在每个子层周围采用残差连接和层归一化的一般Transformer模型编码端组件外,还应用了基于掩码的多领域注意力机制。