1.一种基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述方法的具体步骤如下:Step1、获取跨模态数据集,将数据集中的训练集分为t轮数据块来模拟流数据;其中每轮数据块包含不同模态的样本特征及其对应的语义标签;
Step2、构建目标函数学习,利用被分为t轮的训练数据集来模拟流数据对目标函数进行训练;当第t轮数据块到达时,保存前t‑1轮数据块训练得到的不同长度的哈希码不变,学习第t轮数据块不同长度的哈希码并保存,并根据第t轮数据块的实时新数据来在线更新哈希函数;
Step3、进行待检索样本的跨模态检索:首先得到检索集对应的哈希码,输入查询样本,根据上一步得到的哈希函数,得到查询样本的哈希码,将查询样本的哈希码代入检索集中进行查询,通过计算查询集与检索集中各样本间的汉明距离来获取查询结果。
2.根据权利要求1所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述Step1中,为了保证模型的泛化能力,对于数据进入模型训练前,都是使用随机分块的方法来处理以及划分训练集来模拟流数据。
3.根据权利要求1所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于,所述不同模态的样本特征至少包括:图像文本模态的样本特征和文本模态的样本特征。
4.根据权利要求1所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述Step2中所获得的目标函数具体过程包括:将原始样本映射到高维特征空间,并通过一致与特定于模态的投影矩阵将多模态数据特征投影到离散的公共表示作为训练实例的统一哈希码,对特定于模态的投影矩阵施加基于l2,1范数的稀疏约束,同时将标签矩阵作为监督信息嵌入到目标函数中;此外,将不同长度的哈希码与最长长度哈希码建立语义联系,以充分对学习到的哈希码进行进一步的探索。
5.根据权利要求1所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述Step2中目标函数包括哈希码学习和哈希函数学习两个部分,哈希码学习指的是结合语义标签以及不同长度哈希码与最长长度哈希码之间的语义关系来学习;哈希函数的学习指的对每个模态采用一个简单的线性回归模型作为哈希函数,将训练样本的特征通过一致和特定于模态的投影矩阵投影到哈希码中,通过将哈希码学习和哈希函数学习放到同一个模型中进行学习,以此来增强哈希码与哈希函数之间的语义联系,实现高精度的在线跨模态检索。
6.根据权利要求1所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述Step2中的目标函数包括两个数据部分,第t轮新到达的数据和前t‑1轮累积的旧数据块。
7.根据权利要求1所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述Step2中,每轮数据块包括图像和文本两个模态,以及与之一一对应的标签;在第t轮训练时,带有类标签 的成对的数据块 被添加到训练集中;其中 和 分别表示
维度为d1的图像特征矩阵和维度为d2的文本特征矩阵,nt和c分别是新的图像‑文本数据块大小和类别数量;在第t轮,样本分为前t‑1次累积的旧的训练样本 和第t次的训练新(t)样本X ; 包含 个样本对,其对应的标签矩阵为因此,在t轮的总训练数据集记为 包含
个数据点,它对应的总标签矩阵记为
8.根据权利要求7所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述Step2中的具体步骤包括:
Step2.1、多哈希码联合学习
在统一训练模型中同时学习多个不同长度的哈希码,增加哈希长度的可伸缩性;此外,为了探索和学习哈希码,最长哈希码被用于其它不同长度的哈希码学习:其中, 表示矩阵的Frobenius的平方, 和分别表示第t轮数据块和前t‑1轮数据块的第k个哈希码(1≤k≤K),K为哈希码个数,和 分别表示第t轮数据块和前t‑1轮数据块的最k K
长长度的哈希码, 为投影矩阵,rk和rK分别表示B和B的长度,α和γ为平衡参数;
2.2、标签嵌入
为了充分利用语义标签信息,将监督标签信息回归到哈希码,使学习到的哈希码保持语义标签的一致性;通过以下公式表示:其中, 为投影矩阵,β为平衡参数;
2.3、哈希函数学习
通过投影矩阵直接将原始多模态数据非线性特征投影到离散的公共表示作为训练实例的统一哈希码;为了使学习到的哈希码能够保留多模态数据的一致性和特定于模态的属性,将投影矩阵分解为一致的和特定于模态的矩阵;图像和文本模态的不一致被认为是一种特殊的噪声,因此对特定于模态的投影矩阵施加基于l2,1范数的稀疏约束;本发明中的哈希函数是通过线性回归问题来学习的:其中 和 分别为一致的和特定于模态的投影矩阵;μ、λ和γ表示控制相应贡献项的权衡参数; 是图像或文本的核特征矩阵,它旨在将原始样本映射到高维特征空间,适用于处理线性不可分问题;在这里,φ(.)表示RBF核函数,m表示锚点数;因此内核特征φ(xi)被定义如下:其中 表示m个锚点; 是高斯核参数。
2.4、目标函数
综合以上几步,其目标函数为:
2.5、进行目标函数的迭代更新:通过迭代更新上一步得到的目标函数,直到目标函数收敛或达到最大迭代次数,得到哈希函数以及训练集的哈希码。
9.根据权利要求8所述的基于在线多哈希码联合学习的跨模态检索方法,其特征在于:所述Step2中对目标函数的优化步骤如下:k(t) k(t)
2.5.1、更新C :固定其它变量,对于C ,目标函数简化为:k(t)
设置 推导出C 的封闭解,如下:
其中 和 表示为:
其中 和 都是在第t‑1轮得到的,从 和 的表示观察到: 和 前一部分与第t轮中新到达的数据有关,后一部分与前k(t)t‑1轮积累的旧数据有关;因此 和 通过增量的方式计算,C 通过在线k(t) k(t)
学习进行更新,同样地, W 、和R 通过在线学习进行更新;
k(t)
2.5.2、更新 固定其它变量,对于C ,目标函数简化为:为了求解基于l2,1范数的优化问题,引入了以下权重矩阵:(i)
其中 是D 的第j行对角线元素, 是矩阵 的第j行,因此,上述的目标函数重写为:设置 的更新表示为:
k(t) k(t) k(t)
2.5.3、更新W :与C 的更新步骤相似,得到W 的封闭解,如下:k(t) k(t) k(t)
2.5.4、更新R (1≤k≤K‑1):与C 的更新步骤相似,得到R 的封闭解,如下:k(t) k(t)
2.5.5、更新B ,固定其它变量,对于B ,目标函数简化为:从上述表达式观察到:当k=K时,即只学习一个长度的哈希码时,约束项k(t) k(t)无意义,因此B 的更新分情况讨论;当k=K时,B 通过以下更新获得:
k(t)
当1≤k
通过以上步骤对目标函数进行优化,直到目标函数收敛或达到最大迭代次数,停止迭代。