1.多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:包括源文本表征和视觉表征模块、源语句自注意力模块、文本引导视觉区域特征提取模块、多模态视觉‑文本注意力模块、视觉‑文本多模态混合模块;所述源文本表征和视觉表征模块用于对数据集中的数据进行源文本表征和视觉表征;所述源语句自注意力模块用于通过文本自注意力收集附近有关单词的信息来生成源句子的上下文表示;所述文本引导视觉区域特征提取模块用于提取文本引导视觉区域特征;所述多模态视觉‑文本注意力模块用于通过多模态视觉文本注意融合视觉信息和文本信息;所述视觉‑文本多模态混合模块用于采用多模态混合策略混合文本特征和网格视觉特征,之后经过一个位置前馈网络。2.根据权利要求1所述的多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:所述数据集是通过如下方式得到的:通过国际翻译大赛WMT2018:mltimodel‑task1下载Multi30K数据集,其中训练、验证和测试集分别包含29k、1014和1000个文本图像对;额外的还使用包含1000个文本‑图像对的WMT17测试集和包含461个文本图像对的模糊MSCOCO测试集来评估模型;然后通过字节对编码分割和10000次合并操作直接使用预处理后的句对。3.根据权利要求1所述的多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:所述源文本表征和视觉表征模块包括用于实现如下内容:用于对数据进行源文本表征和视觉表征;源文本表征和视觉表征模块中源语言句子通过传统的带有位置嵌入的嵌入层表征,图像分别通过预训练的Resnet‑101和Faster R‑CNN提取的图片表征为网格视觉特征和区域视觉特征;分别用和zk表示源语言句子和对应图像的第k个数据对,其中n是
源语言句子xk的源句子长度,源文本表征和视觉表征表示如下:其中,embx是具有词嵌入和位置嵌入的文本表征层,embz,g是基于Resnet‑101的网格视觉特征提取层,embz,r是基于Faster R‑CNN的区域视觉特征提取层,为视觉表征中的网
格视觉特征,为视觉表征中的区域视觉特征。
4.根据权利要求1所述的多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:所述源语句自注意力模块用于通过文本自注意力收集附近有关单词的信息来生成源句子的上下文表示,即文本特征表示为:其中,l={0,1,…,5}表示Transformer的层数,Multihead(*)表示多模态自注意力,文本特征作为查询/键/值矩阵,为源文本表征。
5.根据权利要求1所述的多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:所述文本引导视觉区域特征提取模块中包括:基于文本的文本‑视觉门控机制:采用基于文本的文本视觉门控机制来过滤掉源句中不相关的区域特征,提出的多模态门控模块如下:这里是与文本相关的区域特征,α是区域特征和文本特征之间的相似权重,和是参数矩阵,为源文本表征,为视觉表征中的区域视觉特征;
视觉间交叉注意模块:在区域特征和网格特征之间构建了一个视觉间的交叉注意模块,用于获得与文本相关的区域视觉特征的全局视觉特征;具体来说,首先连接网格视觉特征和区域视觉特征如下:其中,||表示连接操作,然后使用视觉间的交叉注意力来生成与文本互连接且一致的有效区域特征网络,与文本自注意力类似,视觉间的交叉注意力视觉特征表示如下:其中,为视觉表征中的网格视觉特征。
6.根据权利要求1所述的多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:所述多模态视觉‑文本注意力模块包括用于:使用文本特征作为查询矩阵,使用视觉特征作为键/值矩阵,视觉特征和文本特征与多模态视觉‑文本注意力融合,因此有:
通过多模态视觉文本注意融合视觉信息和文本信息。7.根据权利要求1所述的多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:所述视觉‑文本多模态混合模块具体包括用于:使用多模态混合来融合两种不同的模态文本和图像方式,表示为:其中β是混合超参数服从Beta分布,这是平衡文本特征和视觉特征的比率,g(.)是线性变换函数,是第k个源句子及其对应图像的混合多模态特征;
最终,与传统的Transformer模型架构类似,采用位置前馈网络FFN,形成源句子的表示Sl为:
8.根据权利要求1所述的多模态神经机器翻译的双级交互式多模态混合编码器,其特征在于:在编码器的第六层输出特征作为解码器的输入,解码器采用传统的解码器结构,然后解码器的输出层使用线性变换和softmax函数去预测最大概率生成的句子;所述解码器包括如下内容:解码器采用传统的Transformer解码器堆叠6层,每个解码器层由三个子层组成:1)目标语言自注意力层;2)跨语言注意力层;3)位置前馈网络层;最后将解码器最后一层的输出作为softmax输入,由softmax层预测目标句的概率分布,将其表示为:Y=Cross‑MultiHead(Q,Sl,Sl)L=FFN(Y)P=Softmax{WsL+b}其中,是目标句子表征,b和Ws是参数,Sl是解码器的输出。
9.多模态神经机器翻译的双级交互式多模态混合编码方法,其特征在于,包括利用如权利要求1‑8任一项权利要求所述的编码器进行编码的方法。