欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021114249965
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合文本和图片特征的多模态机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、对Multi30K数据进行预处理,将处理好的文本特征和视觉特征采用MultimodelMixup融合,再把被混合的特征作为Q矩阵,文本特征作为K和V矩阵,然后采用注意力机制获得丰富的多模态特征;

Step2、基于Transformer,在encoder不同的层上采用LayerMixup不断抽取图片中和文本的相关信息,在encoder的最后一层被融合的特征被送入到decoder端进行解码;

所述Step1的步骤如下:

Step1.1、采用Multi30K数据集,并划分训练集、验证集、测试集;

Step1.2、数据集中文本数据采用BPE分词预处理,通过Resnet-101提取视觉特征,空间特征是7×7×2048维向量,具有图像的49个局部空间区域特征;然后将预处理好的文本进行词嵌入和位置嵌入,获取文本特征Step1.3、对于任何给定的图像-文本对数据集是通过以下混合策略生成的,具体如下:其中,α是混合超参数,用于平衡视觉特征和文本特征,并且是标量,服从Beta分布,然后采用两种定向的多模态混合策略,包括视觉到文本的混合和文本到视觉的混合,具体如下:其中,

其中,||表示拼接操作,

Step1.4、采用具有512维隐藏状态的6层编码器和解码器;用多头自我注意力机制计算被混合的特征和文本特征之间的相互表达,表示如下:其中,

其中

其中

所述Step2包括:

Step2.1、连续抽取Transformer不同层上图片的隐藏状态,采用如下两种方法融合多模态特征;

1、视觉特征融入到文本特征:

其中,

2、文本特征融入到视觉特征:

其中,

Step2.2、采用多头自注意层对每个单词从表示中引入了所有的混合特征,混合特征作为Q矩阵,文本特征作为K/V矩阵;

Step2.3、最终,采用位置前馈网络FFN,后混合策略post mixup如下所示:同样,在先混合策略pre-mixup中也使用了位置前馈网络;

Step2.4、在编码的最后一层,

所述先混合策略pre-mixup和后混合策略post mixup分别如下:后混合策略post mixup:在编码端的不同层上采用MultimodelMixup融合策略作为LayerMixup;post mixup策略先执行多头自我注意力机制,然后采用LayerMixup抽取图片中的有用信息,并且为了防止梯度消失在中间添加了残差连接;

先混合策略pre-mixup:在执行多头自我注意力机制之前采用LayerMixup,考虑到梯度消失和网络退化,还添加了混合特征的残差连接。

2.根据权利要求1所述的融合文本和图片特征的多模态机器翻译方法,其特征在于:所述Step1中还包括如下:采用自我注意力机制生成文本特征和混合特征的相互连接,这里混合特征是来自MultimodelMixup混合得到的,作为一个Q矩阵,文本特征作为K和V矩阵,