欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018113589826
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种有鉴别的全相似性保留哈希跨模态检索方法,其特征在于,所述方法包括步骤:S1、由图像文本对组成样本构成数据集,并将所述数据集按照设定比例划分成特征向量训练集和测试集,并对每一样本中对应文本和图像的特征向量做数据规整和均一化处理;

S2、提取所述训练集中具有双模态的数据,基于所述数据构造有鉴别的全相似性保留哈希的目标函数:,

其中,T为文本特征矩阵,PT为文本特征矩阵对应的文本特征投影矩阵,V为图像特征矩阵,PV为图像特征矩阵对应的图像特征投影矩阵,Y为标签矩阵,W为线性分类器,S为语义特征矩阵,L为保留相似性的图拉普拉斯矩阵,γ,μT,μV,λ均为折衷参数;

S3、设定一阈值,采用迭代法求解所述目标函数,判断每一迭代过程中所述目标函数的解,若所述解小于或等于所述阈值,则停止迭代,并更新PV,PT,S和W;

S4、基于所述目标函数的迭代解采用公式H=sign(S)计算训练集哈希码;

S5、利用所述更新得到的PV和PT对所述训练集进行投影变换,将投影变换后得到的矩阵作为图像文本语义特征矩阵,使用公式H=sign(S)计算测试集哈希码;

S6、计算所述测试集中每个图像哈希码与所述训练集中所有文本哈希码之间的汉明距离 以及所述测试集每个文本哈希码与所述训练集中所有图像哈希码之间的汉明距离S7、升序排列 和 并根据排列结果查询到所述文本和图像在模态中对应的索引,并按照相关度排名后取前r个作为检索结果,并基于所述模态双模态数据的标签信息对r个所述检索结果进行mAP值计算,完成图像文本对的跨模态检索。

2.根据权利要求1所述的有鉴别的全相似性保留哈希跨模态检索方法,其特征在于,步骤S3中,所述目标函数采用迭代法求解具体包括步骤:S31、随机初始化PV,PT,S,W确定哈希码长度k;

S32、固定S,W,并令 得 求解得:

S33、固定PV,PT,S令 得 求解得:W=(SST+λI)-1SYT;

S34、固定PV,PT,W令 得 整理

得:AS+SB+E=0,其中,A=2(WWT+(μV+μT)I),B=L+LT,E=-2(WT+μVPVV+μTPTT);

S35、更新PV,PT,S,W。

3.根据权利要求1所述的有鉴别的全相似性保留哈希跨模态检索方法,其特征在于,所述折衷参数λ的取值范围为[10-5,1]。

4.根据权利要求1所述的有鉴别的全相似性保留哈希跨模态检索方法,其特征在于,所述折衷参数γ的取值范围为[0,2]。

5.根据权利要求1所述的有鉴别的全相似性保留哈希跨模态检索方法,其特征在于,所述折衷参数μT和μV的取值范围均为[1,200]。

6.根据权利要求1~5任一项所述的有鉴别的全相似性保留哈希跨模态检索方法,其特征在于,所述方法还包括通过公式 和公式 计算平均的平均精度指标评估,其中,qi是一条检索输入,N是检索条目输入总数;T是检索集中所有相关实体的个数,Pq(r)是按照相关度排名后的前r个检索实体的精度;ξ(r)是一个指标函数,当第r个被检索到的实体与检索内容标签一致则ξ(r)的值为1,否则为0。