1.一种鲁棒哈希的不配对零样本图文跨模态检索方法,其特征在于:所述方法的具体步骤如下:Step1、图文跨模态数据集特征提取:对原始图文跨模态数据集中的图像和文本进行特征提取以及对数据集中包含的类进行属性向量提取;
Step2、 图文跨模态数据集处理:根据带噪声标签的不配对零样本图文跨模态检索场景,为现有的图文跨模态数据集添加标签噪声、进行不配对处理以及划分可见类和不可见类;
Step3、建立鲁棒哈希的不配对零样本图文跨模态检索模型:首先,分别为噪声矩阵和恢复的标签矩阵上施加稀疏约束和低秩约束,以有效地降低噪声标签的负面影响;然后,在标签语义嵌入学习中引入ε拖动方法,以此来学习更具判别性的哈希码;此外,为了增强图像和文本哈希码中的相似性语义信息,同时考虑图像和文本的模态内相似性和模态间相似性;最后,设计一个零样本图文跨模态哈希检索框架为图像和文本模态同时学习不同的哈希码,使其适用于不配对检索场景;
Step4、不配对零样本图文跨模态检索模型的更新优化:设计迭代离散优化算法来求解Step3得到的不配对零样本图文跨模态检索模型,直到模型收敛或达到最大迭代次数,得到训练集的哈希码以及哈希函数;
Step5、不配对零样本图文跨模态检索:首先,通过Step4训练的哈希函数得到不配对图文跨模态检索的检索集和查询集的哈希码;然后,将查询集放入检索集进行查询,通过计算查询集的哈希码与检索集中各样本的哈希码之间的汉明距离来获取查询结果,汉明距离最小者即为最终的查询结果;
所述Step3包括:
Step3.1、噪声标签学习:为了缓解图文跨模态训练集中的噪声标签问题,将观察到的标签分解成两个部分:恢复标签和噪声;由于标签之间的潜在相关性,恢复标签应表现出低秩特征,并引入了对噪声矩阵的稀疏约束来增强算法的鲁棒性,由公式(1)陈述:(1)
其中,表示第个模态的原始噪声标签矩阵,表示第个模态的恢复标签矩阵,对应于第个模态的噪声矩阵,共包括图像和文本两个模态;
Step3.2、语义增强学习:在图像和文本的哈希码学习中,为了增强哈希码的语义判别性,将在哈希码中嵌入标签信息;此外,利用ε拖拽使得不同类别的回归目标沿着相反的方向移动,从而扩大不同类别之间的差距,以此来进一步增强哈希码中的判别性,语义增强学习通过最小化以下问题而得到:;
(2)
其中,表示第个模态ε拖拽后的标签矩阵,和分别表示第个模态ε拖拽的方向矩阵和数值矩阵,表示第个模态的正交投影矩阵,表示第个模态的哈希码,为哈希码长度,为第个模态的训练样本数量;
Step3.3、属性空间学习:通过类之间的属性关系构造属性空间来实现从可见类到不可见类的知识转移;此外,将恢复的标签嵌入到属性空间中,这样不仅提高属性空间的语义信息,还能利用属性空间中的数据特征来指导恢复标签的学习;通过优化下面的问题得到图像和文两个模态的属性空间:(3)
其中,表示第个模态的特征矩阵,是类属性矩阵,表示第个模态的投影矩阵;
Step3.4、相似性保留学习:为了在图像和文本哈希码中充分嵌入语义信息,使用语义相似性来进一步扩大类间距离,缩小类内距离;具体来说,在不配对图文跨模态检索中,不仅要关注图像和文本的模态内相似性,也要关注图像和文本的模态间相似性,模态间相似性能有效地解决模态间的异质性差异问题,提升图文跨模态检索性能,通过优化以下问题进行相似性保留学习:;
(4)
其中,和分别表示第个模态和第个模态的潜在表示,是第个模态的模态内相似性,表示图像和文本的模态间相似性;
Step3.5、图像和文本的哈希函数学习:通过最小二乘回归问题来学习图像和文本的哈希函数,然而,仅使用线性变换不会表现出足够强大的辨别能力,通过在线性变换中添加漂移来学习哈希函数:(5)
其中,表示第个模态的漂移,而是元素1的向量,是第个模态的投影矩阵;
所述Step3中所构建的模型对应的目标函数为:
;
(6)
其中,,表示模型的正则化项,用于防止过拟合;、、、和为非负参数,为第个模态的特征经过核函数得到的矩阵。
2.根据权利要求1所述的鲁棒哈希的不配对零样本图文跨模态检索方法,其特征在于:所述Step1中,采用Glove方法为每个类名提取一个对应的词向量来形成类属性矩阵。
3.根据权利要求1所述的鲁棒哈希的不配对零样本图文跨模态检索方法,其特征在于:所述Step2的具体方法为:第一步,在原始的图文跨模态数据集中选取10%的样本作为查询集,其余的样本作为训练集;第二步,从整个数据集的所有类中随机选取20%的类作为不可见类,其余的类为可见类;第三步,为了符合零样本图文跨模态检索情景,重新来划分数据集中的训练集、查询集和检索集;其划分的方法为将第一步中得到的查询集中的不可见类对应的样本对作为新的查询集;将第一步中得到的训练集中可见类对应的样本对作为新的训练集;检索集由第一步中得到的训练集组成;第四步,为训练集中的样本添加不同比例的标签噪声,同时随机打乱训练集中不同模态的样本顺序,以此来形成携带噪声标签的不配对零样本图文跨模态检索情景。
4.根据权利要求1所述的鲁棒哈希的不配对零样本图文跨模态检索方法,其特征在于:所述Step4中,采用交替迭代算法来更新矩阵变量,直到目标函数收敛或达到最大迭代次数,最终得到图像和文本最优的哈希码和哈希函数。