1.一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述方法包括:Step1、获取多模态机器翻译数据集,并对文本和图像进行编码得到文本特征和图像特征;
Step2、将图像特征进行部分掩码;
Step3、将文本、图像和掩码图像特征送入具有多层Transformer的模块中进行表征;
Step4、将图像和掩码图像表征分别和文本表征进行混合,初步实现跨模态融合;
Step5、将文本特征送入冻结参数的多层Transformer模块中进行充分表征;
Step6、进行跨模态聚合增强,增加跨模态特征的互补性,并输入到解码器端参与目标句子的生成;
Step7、进行局部点对齐蒸馏,将预训练纯文本模型的先验知识通过特征级别点对点的方式蒸馏到多模态模型中;
Step8、构建正则化语义对齐模块,进一步捕捉更全面的视觉-文本对齐细节;
Step9、Step7得到的蒸馏损失、Step8得到的语义一致性损失与传统的交叉熵损失联合作为最终的训练目标;
Step10、将Step6得到的跨模态聚合后的图文多模态特征送入解码器的跨语言注意力机制,目标句子的生成遵循传统的Transformer解码器框架;
所述Step8包括:
Step8.1、将Step4得到的结果分别和Step5的结果进行门控筛选融合;
Step8.2、进行空间正则化对齐;
所述Step8.1包括:
Step8.1.1、将混合图像特征和充分表征后的文本表征进行如下操作,得到完整语义特征,计算过程如下:;
;
其中,表示跨模态门控权重,,是可训练参数,表示Sigmoid 函数;
Step8.1.2、将混合掩码图像特征和充分表征后的文本表征进行如下操作,得到恢复语义特征,计算过程如下:;
;
其中,表示跨模态门控权重,,是可训练参数,表示Sigmoid 函数。
2.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step1中,包括:Step1.1、网络爬虫,得到多模态机器翻译数据集;
Step1.2、对文本进行BPE 预处理操作;
Step1.3、使用Resnet-101对图像进行编码得到对应的图像特征,图像特征计算过程如下:;
其中表示图像;
Step1.4、使用Transformer中的Embed&encoding模块对文本进行编码得到文本特征,计算过程如下:;
其中表示文本。
3.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step2中,将图像特征进行部分掩码,掩码图像特征计算过程如下:;
其中表示选择掩码的位置,k表示中被掩码的个数,表示掩码操作。
4.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step3包括:Step3.1、将文本特征送入到堆叠的多层Transformer中,使文本特征进行充分表征,得到文本表征;
Step3.2、将图像特征送入到堆叠的多层Transformer中,使图像特征进行充分表征,得到图像表征;
Step3.3、将掩码图像特征送入到堆叠的多层Transformer中,掩码图像特征作为Query,Key以及Value进行注意力机制计算,使掩码图像特征进行充分表征,得到掩码图像表征,计算过程如下:;
其中,表示堆叠的具有self-attention和FFN模块的图像Transformer。
5.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step4中,所述跨模态融合的计算过程如下:;
;
其中,表示文本表征,表示图像表征,表示掩码图像表征,表示进行模态混合的系数向量,表示混合图像特征、表示混合掩码图像特征。
6.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step5中,将文本特征送入冻结参数的多层Transformer中,将文本特征作为Query,Key以及Value进行注意力机制计算,计算过程如下:;
其中,表示冻结参数的 self-attention和FFN模块的文本Transformer,表示充分表征后的文本特征。
7.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step6中,所述跨模态聚合增强是将Step3和Step4得到的具有充分表征的文本和混合图像特征进行聚合增强,得到图文多模态特征;图文多模态特征计算过程如下:;
其中,表示图文多模态特征,用于后续输入到Transformer解码器的跨语言注意力机制中,表示文本表征。
8.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step7中,所述局部点对齐蒸馏是将Step5和Step6得到的结果进行局部点对齐蒸馏,进行局部点对齐蒸馏过程中蒸馏损失采用均方误差损失,均方误差损失计算如下:;
其中,表示样本数量,表示均方误差损失,表示图文多模态特征。
9.根据权利要求1所述的一种基于增量蒸馏和正则化语义一致性的多模态神经机器翻译方法,其特征在于:所述Step8.1还包括:Step8.1.3、将完整语义特征和恢复语义特征进行语义对齐,语义一致性损失采用信息噪声对比估计损失,信息噪声对比估计损失计算过程如下:;
其中,表示logits函数,表示指数函数,表示用于调节相似度分数分布的温度系数,表示信息噪声对比估计损失。