1.基于数据选择网络的多领域自适应神经机器翻译方法,其特征在于:所述基于数据选择网络的多领域自适应神经机器翻译方法的具体步骤如下:Step1、收集训练数据集,使用工具对数据进行分词、字节对处理操作,对训练数据添加领域标签,在句子级层面进行词嵌入处理;
Step2、在Transformer模型的基础上,增加一个由两层全连接感知层构成的数据选择网络,在双层优化技术的基础上采用最小化风险训练更新模型和数据选择器参数;
Step3、平衡训练过程中各个领域的数据,最终获得一个统一的翻译性能好的多领域神经机器翻译模型进行翻译;
所述Step2的具体步骤为:
Step2.1、在Transformer模型的基础上,增加一个由两层全连接感知层构成的数据选择网络,得到初始的基于数据选择网络的多领域自适应神经机器翻译模型;其中Transformer的编码器和解码器均为6层;
Step2.2、在训练过程中,通过小批量输入训练集数据D其中
针对特定语言对的多领域神经机器翻译,在不丢失通用领域翻译性能的前提下,能够对多个领域术语及文本风格精确翻译;为了达到上述目的,将训练集数据表示为其中
在多领域神经机器翻译,每个领域都需要使用自身的验证集数据为了能够最小化验证风险的平均值R
ψ
其中θ
ψ参数化的数据选择网络P(X,Y;ψ)根据多领域NMT的训练数据集采样分布进行初始化,其表达式为:同时整个训练过程中不断迭代优化θ和ψ,其中θ的更新规则为:其中t为整个训练过程中的轮次数,
Step2.3、使用基于强化学习的奖励函数J(x其中cos(·)函数是计算两个向量之间的cosine相似度;
奖励函数表明选用验证集中加权数据的梯度相似性越高,更新数据选择网络的效果越好,根据强化算法,数据选择网络ψ的更新规则如下:其中t为整个训练过程中的轮次数,
2.根据权利要求1所述的基于数据选择网络的多领域自适应神经机器翻译方法,其特征在于:所述Step 1的具体步骤为:在WMT、CCMT及UM-Corpus网站下载通用数据集及领域数据集,使用sentencespiece、Stanford NLP及moses tokenizer工具对数据进行分词、字节对处理操作,完成数据预处理;
使用DTS、PAD、UNK和EOS标签做标记,得到由领域标签嵌入和词嵌入组成的源语言和目标语言句子集,获取领域的特征信息。
3.根据权利要求1所述的基于数据选择网络的多领域自适应神经机器翻译方法,其特征在于:所述Step2包括:在Transformer模型的基础上,增加一个由两层全连接感知层构成的数据选择网络,得到初始的基于数据选择网络的多领域自适应神经机器翻译模型;
在训练过程中,使用最小化风险训练为每个领域单独使用验证集数据来选择最佳模型;由于在多领域NMT中,所有领域的性能都需要进行优化,则能将这个目标规范化为最小化验证风险的平均值;
然后使用基于强化学习的奖励函数对数据选择网络进行参数更新,通过从训练数据和验证集中计算得到的每一个之间的梯度对齐奖励,取这些对齐奖励的平均值作为最终奖励,保证奖励函数的保真度和数据选择网络的稳定性;
最后利用双层优化技术不断迭代更新模型和数据选择网络的参数。