1.基于领域特定子层隐变量的多领域自适应神经机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、下载训练数据集,使用工具对数据进行数据预处理操作;
Step2、在Transformer模型的基础上,使用“Pre‑LN”前向归一化操作,插入领域特定子层隐变量,使用Gumbel‑Softmax重新参数化技巧来同时学习模型参数和隐变量;
Step3、最后通过混合由领域标签控制的通用领域和特定领域数据联合训练并获得一个统一的多领域神经机器翻译模型来进行翻译。
2.根据权利要求1所述的基于领域特定子层隐变量的多领域自适应神经机器翻译方法,其特征在于:所述Step1的具体步骤为:在机器翻译比赛网站下载通用数据集及领域数据集,使用sentencespiece、Stanford NLP及moses tokenizer工具对数据进行分词、字节对处理操作,完成数据预处理。
3.根据权利要求1所述的基于领域特定子层隐变量的多领域自适应神经机器翻译方法,其特征在于:所述Step2的具体步骤:首先,训练过程中在Transformer架构上使用“Pre‑LN”前向归一化而不是“Post‑LN”后向归一化来提高模型稳定性;
其次插入领域特定子层隐变量来控制模型是否跳过当前子层,当隐变量值为0时当前子层将被跳过,隐变量值为1时,当前子层将被选择;为此,引入后验概率分布逼近隐变量的真实分布,引入变分推理来求解领域特定子层隐变量;
最后从近似后验概率分布中采样,使用Gumbel‑Softmax重新参数化技巧来同时学习模型参数和隐变量。