1.基于鲁棒矩阵分解的离散哈希检索方法,其特征在于,包括如下步骤:步骤S1,通过互联网收集图像和文本两个模态的样本建立数据集,并将数据集划分为训练集和测试集;
步骤S2,分别利用图像和文本的BOW算法提取训练集和测试集的图像和文本的特征;
步骤S3,利用矩阵分解算法学习图像和文本的特征间的一致性和不一致性,其一致性由共享哈希码来表示,其不一致性由最小化共性来约束,并构造总目标函数;
其包括如下步骤:
步骤S31,用 来表示训练集样本的特征,其中n为样本对的数量, ; 和 分别表示来自图像和文本模态的数据的零中心特征向量;利用径向基核函数将图像和文本的特征映射到d维的特征空间,其中和 分别表示图像和文本
的特征的映射后的特征;
步骤S32,将图像和文本模态间的一致性和不一致性融合到一个基于矩阵分解的模型中,其基于矩阵分解的目标函数定义如下:其中, 为平衡图像和文本权值的平衡参数, 为平衡一致性和不一致性的平衡参数, 和 分别表示图像和文本模态的潜在因子矩阵, 和 分别表示图像和文本模态间不一致部分,B表示模态间一致的部分,即图像和文本样本的哈希码, 为不一致性的约束条件,不一致性是样本中存在的噪声或不同模态的特性, 所有元素的和应尽量小,其中 表示矩阵的点乘运算,定义 如下:其中 表示矩阵的点乘运算,使用矩阵形式,上述公式可以进一步写成:其中 表示矩阵的迹;
步骤S33,由图像和文本模态的哈希码B学习图像和文本模态的哈希函数的目标函数定义为:
其中 是平衡两个模态哈希函数的参数, 和 分别表示图像和文本模态的投影矩阵;
步骤S34,因此本发明方法的总目标函数为:其中 是平衡正则项权重的参数,表示
正则项;
步骤S4,求解步骤S3所述的总目标函数,得到图像和文本样本对的哈希码B,以及图像和文本模态的投影矩阵 ;此目标函数是非凸的,因此本发明提出一种迭代优化算法得到问题的局部最优解,其包括以下子步骤:步骤S41:固定 ,求解 :;
是k维单位矩阵;
步骤S42:固定 ,求解 :;
步骤S43:固定 ,求解 :;
步骤S44:固定 ,求解 :;
步骤S45:固定 ,求解 :;
是d维单位矩阵;
步骤S46:固定 ,求解 ;
;
步骤S47:固定 ,求解哈希码B:去除与B无关的项,总目标函数可以简化为:其中 ,
这是一个离散最小二乘问题,由于B的离散约束导致问题很难求解,本方法采用离散循环坐标下降法直接逐位求解B; 作为哈希码B的第i行,作为B除去b构成的矩阵;类似地, 表示 第i行, 表示 去除 构成的矩阵, 表示 的第i行, 表示去除 构成的矩阵,表示 的第i行,去掉常数项可得:,
可得:
,
首先利用生成的 更新哈希码B的第i行,然后重复执行上式直至更新完所有位哈希码;
重复执行上述过程 次后,得到训练集样本的哈希码B;步骤S48:判断是否达到最大迭代次数或最近两次迭代损失的差小于0.001,如果不是则继续迭代;如果是,则停止循环;
步骤S5,用户提交查询样本时,利用图像模态的投影矩阵 或文本模态的投影矩阵进行计算,得到查询样本的哈希码,并计算查询样本与数据集中异构模态样本的汉明距离,并按汉明距离从小到大排序返回跨媒体检索结果。
2.根据权利要求1所述的基于鲁棒矩阵分解的离散哈希检索方法,其特征在于,所述的步骤S1 中,包括从网络上的社交网站收集图像和文本两个模态的样本,并根据图像和文本共现关系构成图像和文本样本,构建数据集。
3.根据权利要求1所述的基于鲁棒矩阵分解的离散哈希检索方法,其特征在于,所述的步骤S2中,对图像使用由SIFT特征作为视觉单词的词袋模型提取特征,对文本使用传统的词袋模型提取特征。
4.根据权利要求1所述的基于鲁棒矩阵分解的离散哈希检索方法,其特征在于,所述的步骤S5中,当用户提交查询样本 时,r=1表示图像模态,r=2表示文本模态,根据图像模态的投影矩阵 和文本模态的投影矩阵 ,利用 计算查询样本的哈希码,并计算查询样本与数据集中异构模态样本的汉明距离,并按汉明距离从小到大排序返回跨媒体检索结果。