1.一种基于自适应类相关离散哈希的零样本跨模态检索方法,其特征在于:所述方法的具体步骤如下:Step1、跨模态数据集特征提取:对原始跨模态数据集中的图像和文本进行特征提取以及对数据集中包含的类进行属性向量提取;
Step2、数据集划分:将现有的跨模态数据集划分为符合零样本跨模态检索情景的数据集;
Step3、建立基于自适应类相关离散哈希的零样本跨模态检索模型:首先,通过标签信息、类属性信息构建语义增强嵌入;然后,将语义增强嵌入、类属性间相关性、成对相似性以及特征矩阵融入到同一个框架中,建立基于自适应类相关离散哈希的零样本跨模态检索模型;
Step4、模型的更新优化:设计迭代离散优化算法来求解Step3得到的模型,直到模型收敛或达到最大迭代次数,得到训练集的哈希码以及哈希函数;
Step5:零样本跨模态检索:首先,通过Step4训练的哈希函数得到检索集和查询集的哈希码;然后,将查询集放入检索集进行查询,通过计算查询集的哈希码与检索集中各样本的哈希码之间的汉明距离来获取查询结果,汉明距离最小者即为最终的查询结果;
所述Step2的具体方法为:第一步,在原始数据集中选取10%的样本作为查询集,其余的样本作为训练集;第二步,从整个数据集的所有类中随机选取20%的类作为不可见类,其余的类为可见类;第三步,为了符合零样本跨模态检索情景,重新来划分数据集中的训练集、查询集和检索集;其划分的方法为将第一步中得到的查询集中的不可见类对应的样本对作为新的查询集;将第一步中得到的训练集中可见类对应的样本对作为新的训练集;检索集由第一步中得到的训练集组成;
所述Step3中所构建的模型包括哈希码学习和哈希函数两个部分,首先,通过标签信息、类属性信息构建语义增强嵌入;然后,将语义增强嵌入、类属性间相关性、成对相似性以及特征表示融入到同一个框架中来学习哈希码;其次,通过最小化最小二乘回归问题来学习哈希函数;最后,将哈希码学习和哈希函数学习放到同一个模型中进行训练;其该模型对应的目标函数为:;
;
(1) ;
;
其中,,表示模型的正则化项,用于防止过拟合;是控制正则化项的参数,和分别为图像和文本两个模态的特征经过核函数得到的矩阵;为语义增强嵌入;和分别为两个模态对应的漂移;是一个元素全为1的维列向量;为成对相似性矩阵,为类属性间的相关性矩阵;、、为投影矩阵;为哈希码库,为哈希码;、、和为非负参数,为可见类样本总数,为哈希码长度。
2.根据权利要求1所述的基于自适应类相关离散哈希的零样本跨模态检索方法,其特征在于:所述Step1中,采用Glove方法为每个类名提取一个对应的词向量来形成类属性矩阵。
3.根据权利要求1所述的基于自适应类相关离散哈希的零样本跨模态检索方法,其特征在于:所述Step3中的构建语义增强嵌入是通过融合标签信息与类属性信息来实现的;构建的语义增强嵌入将一个多标签实例对应的多个属性向量融合为一个属性向量,因此适用于多标签数据集;同时,该语义增强嵌入能为特征表示嵌入更多的语义信息来平衡图像和文本之间的检索结果。
4.根据权利要求1所述的基于自适应类相关离散哈希的零样本跨模态检索方法,其特征在于:所述Step3中,在模型中充分考虑类属性间的相关性,自适应地为哈希码中嵌入更多的类属性语义信息;此外,在哈希码学习中嵌入成对相似性,以此生成更具判别性的哈希码。
5.根据权利要求1所述的基于自适应类相关离散哈希的零样本跨模态检索方法,其特征在于:所述Step4中的将模型进行更新优化是对Step3中得到的模型进行优化;显然该模型对应的目标函数并非是最优的,需要对该函数进行优化,该目标函数是一个非凸问题,这会为优化带来困难;但是当固定其他的变量来更新一个矩阵变量时,则这时便将一个非凸问题转化为一个凸问题,方便进行迭代更新;采用交替迭代算法来更新矩阵变量,直到目标函数收敛或达到最大迭代次数,最终得到最优的哈希码和哈希函数。
6.根据权利要求5所述的基于自适应类相关离散哈希的零样本跨模态检索方法,其特征在于:所述目标函数优化步骤如下:-step:固定变量, , , , , 和;则公式(1)简化为关于的问题:(2) ;
通过设置的偏导数为零,得到的封闭解为:
(3);
-step:与的更新步骤相似,得到的封闭解为:(4);
-step:固定变量, , , , , 和;则公式(1)简化为关于的问题:(5) ;
通过设置的偏导数为零,得到的封闭解为:
(6);
-step:与的更新步骤相似,可以得到的封闭解为:(7);
-step:固定变量, , , , , 和,则公式(1)简化为关于的问题:(8) ;
通过设置的偏导数为零,得到的封闭解为:
(9);
-step:固定变量, , , , , 和;则公式(1)简化为关于的问题:(10) ;
通过设置的偏导数为零,得到的封闭解为:
(11);
-step:固定变量, , , , , 和,则公式(1)简化为关于的问题:;
(12);
采用离散循环坐标下降DCC来更新;因此,问题(12)改写如下:;
(13);
其中;具体来说,是按位来更新的;设是的第列,并且是矩阵去除后的矩阵;设是的第列,并且是矩阵去除后的矩阵;设是的第列,并且是矩阵去除后的矩阵;根据DCC方法,得到的解如下:(14);
-step:与的更新步骤相似,可以得到的封闭解为:, (15);
其中,并且设是的第列;
通过以上步骤对公式(1)进行优化,直到函数收敛或达到最大迭代次数,停止迭代,得到最优的哈希码和哈希函数。