欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020100018462
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度自监督排序哈希的跨模态检索方法,其特点在于,包括以下步骤:(1)获取训练数据集,其中每个样本都包括文本、图像和标签,使用的基准多模态数据集分别是Wiki,MIRFlickr和NUS‑WIDE;

(2)利用标签信息训练标签网络;

(2.1)利用一个4层的全连接网络,该全连接网络的输入层是实例的标签,第二层具有

4096个节点,使用Relu激活函数并进行局部归一化;第三层具有512个节点,然后用Relu激活函数;第四层具有K*L+c个节点,K与编码函数有关,L为哈希码的长度,c为标签的维度;

(2.2)第i个实例,使用三元组(vi,ti,li)来表示,li作为vi和ti的自监督语义信息,在标签网络中,语义特征通过非线性变化投影为对应的哈希码,标签网络的损失函数为:l l

其中,θ是标签网络的参数, F 是标签网络学习l

到的语义特征,H 是标签网络预测出的哈希码特征,是标签网络预测出的标签,α,β和γ是超参;

(3)通过标签网络的语义特征指导图像网络进行特征学习;

(3.1)利用一个9层的神经网络,其中前5层是卷积神经网络,分别是第一层用64个大小为11*11的卷积核,步长是4,0边距,然后用Relu激活函数,之后进行局部归一化,最后使用传统的2*2大小的模板做max pooling,第二层以第一层的输出作为输入,用256个5*5大小的卷积核,步长是1,padding是2,同样用Relu激活函数,之后局部归一化,最后2*2大小的max pooling;第三层、第四层和第五层相互连接,没有中间的池化层或归一化层;第三和四层,用256个3*3的卷积核,步长是1,padding是1,使用Relu激活函数;第五层用256个3*3的卷积核,步长是1,padding是1;使用2*2大小的max pooling,得到了尺寸为6×6×256的输出特征;

(3.2)第6层和第7层都是全连接层,有4096个神经元,激活函数用Relu;第8层和第9层也是全连接层,分别具有512、K*L+c个节点,图像网络的目的是在语义特征的指导下学习图像特征及保持对应哈希码之间的相似关系,图像网络的损失函数为:v v

其中,θ是标签网络的参数, F 是图像网络学习v

到的特征,H 是图像网络预测出的哈希码特征,是图像网络预测出的标签,α,β和γ是超参;

(4)通过标签网络的语义特征指导文本网络进行特征学习;

(4.1)采用一种多尺度融合模型,该模型由多个平均池化层和一个1×1的卷积层组成,多个平均池化层用于提取文本数据的多个比例特征;

(4.2)使用1×1卷积层融合多个特征,在多尺度融合模型后连接一个卷积层,该卷积层将多尺度融合模型的输出投影为4096×1的文本特征;

(4.3)最后连接两层全连接网络,分别具有512、K*L+c个节点;文本网络的损失函数为:t t

其中,θ是标签网络的参数, F 是文本网络学习t

到的特征,H 是文本网络预测出的哈希码特征,是文本网络预测出的标签,α,β和γ是超参;

(5)根据设定的损失函数训练标签网络、图像网络和文本网络;

(6)使用基于排序的哈希函数进行编码。

2.根据权利要求1所述的基于深度自监督排序哈希的跨模态检索方法,其特征在于,步骤(5)中所述损失函数训练还包括:l v t

(5.1)初始化三个网络的参数θ,θ和θ,通过前向传播计算标签、图像和文本的特征以及三个网络预测的标签;

v t l

(5.2)固定图像和文本网络的参数θ和θ使用反向传播算法更新标签网络的参数θ;同l t v样固定标签和文本网络的参数θ和θ使用反向传播算法更新图像网络的参数θ;

l v t

(5.3)固定标签和图像网络的参数θ和θ使用反向传播算法更新文本网络的参数θ;反复训练三个网络,直到三个网络的误差收敛。

3.根据权利要求1所述的基于深度自监督排序哈希的跨模态检索方法,其特征在于,步骤(6)中所述的基于排序的编码函数用特征之间的相对排序进行编码,即利用从网络中学习到的K维特征之间的排序顺序进行编码;编码函数定义为:其中, 图像和网络的输出经过该编码函数后变为长度为L的哈希码,该编码函数用图像网络和文本网络学习到的K维特征的最大值的索引作为码字,这种编码方式基于特征向量的相对排序。