欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021115110080
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种分层监督跨模态图文检索方法,其特征在于:所述的方法包括步骤如下:S1:构建用于提取图像特征和文本特征的特征提取网络;

S2:利用特征提取网络提取图像和文本特征,分别得到图像和文本的初步高维特征值;

S3:构建模态对抗网络,将图像和文本的初步高维特征值输入模态对抗网络进行对抗学习,使得含有相同语义的不同模态在公共空间中的距离最近;所述的模态对抗网络使用E个具有三层全连接层的网络,第一个隐藏层的结点数与输入的特征维度一样;第二个隐藏层的结点数与第e层标签层的标签总数ΦS4:构建哈希码生成网络,并利用所述的哈希码生成网络约束所述的特征提取网络的最后一层全连接层,使得通过最后一层全连接层的图像和文本的初步高维特征值,生成最优哈希码,实现对跨模态数据检索;所述的哈希码生成网络包括:不同标签层关联子模块,通过引入标签层内相似性损失和标签层间相关性损失,来充分挖掘每一层标签存在的内在相似度和标签层间存在的相关性;所述的不同标签层关联子模块包括2个分支,分别是标签层内相似性损失、标签层间相关性损失;

在标签的层次结构中,为了保持每一层标签的相似性,为每一层的每个标签生成标签哈希码其中,C

为了充分获取跨层相关性,定义跨层标签相似度矩阵,即:其中,e∈{1,2,...,E-1},e

则标签层间相关性损失函数表示为:

其中,C

不同语义类别区分子模块,通过设计一个不同语义类别区分的总目标函数,使不同语义的模态数据在公共空间中彼此保持一定的距离,从而避免不同语义数据对检索的干扰;在不同语义类别区分子模块,设计一个不同语义类别区分的总目标函数具体如下:在公共空间中,根据不同语义类别、不同模态数据之间的距离应当尽可能远,从而定义第一目标函数表示为:其中,dis(W,V)表示两个点W=(w

在公共子空间,根据不同语义类别、相同模态的数据应当分离,从而定义第二目标函数表示为:不同语义类别区分模块总损失函数表示为:

其中,N表示数据集中图像文本对数;

跨模态哈希损失子模块,将初步高维特征值转换为最优编码长度哈希码,以压缩数据维度并降低数据存储空间,实现对跨模态数据精准快速的检索;将特征提取网络中第二层全连接层的输出结果引入到跨模态哈希模块中,定义跨模态哈希损失函数如下所示:其中,

2.根据权利要求1所述的分层监督跨模态图文检索方法,其特征在于:所述的特征提取网络包括用于提取图像特征的第一深度神经网络、用于提取文本特征的文本提取网络;

将第一深度神经网络的最后一层修改为哈希码输出层,其神经元数为哈希码长度,使用激活函数,将输出映射到-1到1之间;

所述的文本提取网络包括

用于向量化数据集中所有文本词袋模型,

由五级并联的均值池化层构造的多尺度特征堆叠模型,所述的多尺度特征堆叠模型用于提取不同感受野下的高阶和低阶特征,其窗口大小分别为1×1、2×2、3×3、5×5、10×10,由三层全连接层构成的第二深度神经网络。

3.根据权利要求2所述的分层监督跨模态图文检索方法,其特征在于:所述的第二深度神经网络,具体如下:第一层全连接层的网络节点数为多尺度特征堆叠模型输出维数;第二层是网络节点数为4096维的全连接层,由第二层全连接层输出初步高维特征值;第三层是节点数为哈希码长度h

4.根据权利要求1所述的分层监督跨模态图文检索方法,其特征在于:所述的模态对抗网络的对抗损失使用交叉熵损失函数,定义如下所示:其中,L

5.根据权利要求4所述的分层监督跨模态图文检索方法,其特征在于:利用特征提取网络、模态对抗网络、哈希码生成网络构成跨模态图文检索模型,将跨模态图文检索模型的最终损失函数表示为:Loss=αL

其中,α、β、χ、δ和φ是超参数;L

根据最终损失函数训练优化跨模态图文检索模型,使得跨模态图文检索模型达到最优。