1.一种基于注意力网络对抗哈希的跨模态检索方法,其特征在于,包括以下步骤:对成对的图文数据中的图像数据和文本数据提取初始特征;
对初始特征学习掩码权重,获得用于检索任务的高质量的图文特征;具体的,将图像数据的初始全局特征和文本数据的初始全局特征作为共享注意力模块的输入,经过注意力模块处理,从而获得图像数据和文本数据的激活输出;将图像数据和文本数据的激活输出送到一个全连接层,分别得到图像数据和文本数据的最终特征表示;
基于所述高质量的图文特征,利用模态判别器判断所述图文特征是图像特征还是文本特征,模态特征提取器和模态判别器以对抗式的方式相互作用,通过模态特征提取器学习到更好的图文特征;
将所述图文特征作为哈希学习器的输入,利用哈希学习网络将更好的图文特征非线性的转换为二进制编码,即哈希码;
将待查询图像数据或文本数据映射到公共汉明空间,在公共汉明空间经过计算查询数据的二进制编码和初始数据的二进制编码之间进行相似度测量,对相似度测量结果进行排序,获得前K个跨模态检索的结果;哈希学习网络包括三个全连接层,二进制编码的计算基于前两个全连接层,通过最小化下式来学习二进制编码:其中,是数据样本的二进制编码,n为跨模态数据集中的图像-文本对数量,为二进制编码学习中的成对相似性,a为二进制编码的长度;
上式确保所学习的二进制编码应接近成对相似性,等价为:
其中,为哈希学习中第二层全连接的值;
基于非对称松弛策略,进一步减小量化误差,强制二进制编码B与特征相似,并最小化特征与成对相似性矩阵之间的差异;
哈希学习网络的目标函数为:
其中,是独立项,是平衡项,是超参数,为控制二进制编码离散约束的超参数,为控制二进制编码独立性的超参数,为控制二进制编码平衡性的超参数,为哈希学习网络的参数;
最终,总的目标函数可以表示为:
其中,是超参数,分别是图像特征提取网络和文本特征提取网络的参数,为模态判别器的参数,为哈希学习网络的参数,是判别损失函数。
2.根据权利要求1所述的基于注意力网络对抗哈希的跨模态检索方法,其特征在于,对成对的图文数据中的图像数据和文本数据分别提取初始特征包括:对于图像数据采用在ImageNet上预训练好的ResNet-101网络模型提取初始特征,从pool5层提取的2048维的特征向量,映射到1024维特征,并将此作为图像数据的初始全局特征;
对于文本数据,首先通过预处理得到词向量,然后将词向量作为双向长短期记忆神经网络的输入进行特征提取,并将其的输出作为文本数据的初始全局特征。
3.根据权利要求1所述的基于注意力网络对抗哈希的跨模态检索方法,其特征在于,将图像数据的初始全局特征和文本数据的初始全局特征作为共享注意力模块的输入,利用具有sigmoid激活函数的全连接层来构建函数,学习特征图中每个位置的掩码权重,图像数据的掩码权重和文本数据的掩码权重为:全连接层用于学习特征的非线性变换,提取数据的语义信息;
sigmoid激活函数用于将图像数据的掩码权重和文本数据的掩码权重的值映射在[0,1]范围内;
将图像数据的掩码权重与图像数据的初始全局特征作内积操作,然后将内积得到的值与图像数据的初始全局特征作和操作,最终得到图像的激活输出;
将文本数据的掩码权重与文本数据的初始全局特征作内积操作;然后将内积得到的值与文本数据的初始全局特征作和操作,最终得到文本的激活输出;
内积层的参数对于两个模态样本是共享的,图像的激活函数输出和文本的激活输出为:将图像的激活函数输出和文本的激活输出分别输入到一个全连接层,得到图像数据的最终特征表示和文本数据的最终特征表示。
4.根据权利要求1所述的基于注意力网络对抗哈希的跨模态检索方法,其特征在于,利用模态判别器判断所述图文特征是图像特征还是文本特征包括:利用一个三层的前馈神经网络对上述图像数据和文本数据的最终表示进行模态判别,模态判别器的输出即代表输入特征的模态,其中1代表的是图像数据特征,0代表的是文本数据特征;
模态判别器用于正确区分样本的模态,即输入的样本特征属于图像样本特征还是文本样本特征,图像样本特征和文本样本特征的差异为相应的损失,损失越小,则图像样本特征和文本样本特征差异越大。
5.根据权利要求1所述的基于注意力网络对抗哈希的跨模态检索方法,其特征在于,模态判别器包括一个三层的前馈神经网络,模态判别器的输出为:其中表示投影的图像特征或文本特征,为参数,若为1,代表将投影的特征判别为图像数据特征,反之,若为0,代表将投影的特征判别为文本数据特征;
利用似然函数表示和之间的关系,
其中表示图像或文本成为图像特征的概率,为每个图像-文本对的真实模态标签;图像特征和文本特征的差异为相应的损失,损失越小,则图像特征和文本特征的差异越大,判别损失函数为:其中n为跨模态数据集中的图像-文本对数量,为模态判别器的参数。
6.根据权利要求1所述的基于注意力网络对抗哈希的跨模态检索方法,其特征在于,将所述图文特征作为哈希学习器的输入,利用哈希学习网络将更好的图文特征非线性的转换为二进制编码包括:将更好的图文特征一起形成具有两个模态的所有特征表示的集合;
将所有特征表示的集合作为哈希学习网络的输入,哈希学习网络由三个全连接层组成,基于前两个全连接层计算得到二进制编码;
哈希学习网络利用具有语义监督的损失函数确保所生成的二进制编码与初始数据之间的语义关系。
7.根据权利要求1所述的基于注意力网络对抗哈希的跨模态检索方法,其特征在于,将图像数据和文本数据映射到公共汉明空间,在公共汉明空间经过计算查询数据的二进制编码和初始数据的二进制编码之间进行相似度测量,对相似度测量结果进行排序,获得前K个跨模态检索的结果包括:待查询文本检索图像,将待查询文本经过跨模态检索模型将其转换为二进制编码,得到的二进制编码与公共汉明空间里的二进制编码进行距离计算并排序,最终得到排名前K个的图像检索结果;
待查询图像检索文本,将待查询图像经过跨模态检索模型将其转换为二进制编码,得到的二进制编码与公共汉明空间里的二进制编码进行距离计算并排序,最终得到排名前K个的文本检索结果。
8.一种计算机设备,其特征在于,包括处理器以及存储器,存储器用于存储计算机可执行程序,处理器从存储器中读取所述计算机可执行程序并执行,所述处理器执行程序时能实现权利要求1-7任一项所述的跨模态检索方法。
9.一种计算机可读存储介质,其特征在于,计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,能实现权利要求1-7任一项所述的跨模态检索方法。