欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021100530385
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,包括如下步骤:步骤S1、获取跨模态检索数据集,并且将所述跨模态检索数据集划分为训练集和测试集;

步骤S2、对训练集中的文本和图像分别进行特征提取;

步骤S3、设置对抗自编码器网络,通过所述对抗自编码器网络提取模态特定特征和模态共享特征;

步骤S4、通过哈希网络生成对应模态样本的哈希码;

步骤S5、联合对抗自编码器网络的损失函数以及哈希网络的损失函数训练网络;

步骤S6、利用步骤S5中训练完成的网络对测试集中的样本进行跨模态检索。

2.根据权利要求1所述的一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,所述跨模态检索数据集包括多个样本对,每个样本对包括:文本、图像和相应的语义标签。

3.根据权利要求2所述的一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,在所述步骤S2中,通过VGG‑19模型提取第七部分全连接层的图像特征;通过词袋模型提取文本特征。

4.根据权利要求3所述的一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,所述步骤S3具体包括:步骤S301、设置对抗自编码器网络的生成器,所述生成器包括隐含层生成器和全局生成器;

所述隐含层生成器用以获取图像特征和文本特征在子空间的分布,所述隐含层生成器包括3层全连接层,每一层的神经元数量分别为3000、1000、100,激活函数为Tanh;

所述全局生成器用以获取图像和文本的重构特征,所述全局生成器包括5层全连接层,每一层的神经元数量分别为3000、1000、100、1000、3000,激活函数为Tanh;

步骤S302、设置对抗自编码器网络的判别器,所述判别器包括隐含层判别器和全局判别器;

所述隐含层判别器用以区分子空间的图像特征和文本特征,所述隐含层判别器包括3层全连接层,神经元个数分别是50、25、1,激活函数为LeakyReLU;

所述全局判别器用以区分真实图像特征和生成的图像特征以及真实文本特征和生成的文本特征,所述全局判别器包括2层全连接层,每一层的神经元数量分别为20、1,激活函数为LeakyReLU;

步骤S303、所述全局生成器通过对抗性的训练保留图像模态和文本模态的原始特征,所述全局生成器的损失函数定义为:公式(1)中,v表示为图像模态,t表示为文本模态,E表示为数学期望, 表示图像模态通道自编码器重构损失, 表示文本模态通道自编码器重构损失,pGg表示为全局生成器生成的特征集, 和 表示pGg中图像和文本模态的实例, 表示为图像通道的全局判别器,用以区分真实的图片特征和解码生成的图片特征, 表示为文本通道的全局判别器,用以区分真实的文本特征和解码生成的文本特征,θEn和θDe分别表示为自编码器网络编码层和解码层的网络参数,α表示为平衡参数;

步骤S304、所述隐含层生成器通过对抗性的训练策略生成模态特定特征以及模态共享特征,所述隐含层生成器的损失函数定义为:公式(2)中,v表示为图像模态,t表示为文本模态,E表示为数学期望, 表示为图像模态的共享特征集, 表示为文本模态的共享特征集, 和 分别表示 和 中的实例, 和 表示为模态分类器,用以区分隐含层的共享特征来自于哪个模态,θEn表示为对抗自编码器网络编码层的网络参数;

步骤S305、所述全局判别器的损失函数定义为:公式(3)中,v表示为图像模态,t表示为文本模态,E表示为数学期望, 以及 分别表示图像和文本模态自编码结构的全局判别器,pdata表示为在步骤S2中,通过VGG‑19模型以及词袋模型提取到的特征集,pGg表示为全局生成器生成的特征集,θAg表示为全局判别器网v t

络参数,x和x分别表示pdata中的图像和文本模态的实例, 和 表示pGg中图像和文本模态的实例;

步骤S306、所述隐含层判别器的损失函数定义为:公式(4)中,v表示为图像模态,t表示为文本模态,E表示为数学期望, 表示为图像模态的共享特征, 表示为文本模态的共享特征, 和 表示为模态分类器,用以区分隐含v t

层的共享特征来自于哪个模态,θAs表示为隐含层判别器的网络参数,x 和x 表示VGG‑19模型以及词袋模型提取到特征向量, 和 分别表示 和 中的实例。

5.根据权利要求4所述的一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,所述步骤S4包括:

步骤S401、设置模态特定和共享的哈希网络,包括两层的全连接层,输出为k维特征,其中k为哈希码的位数,输出特征经过sign函数生成哈希码;

步骤S402、模态特定和共享的哈希网络将成对的特征映射到汉明空间中,同时增加模态特定和模态共享特征的融合约束,运用标签信息对相似性进行建模。

6.根据权利要求5所述的一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,所述步骤S402,具体包括:步骤S4021、定义模态特定和共享的哈希网络的输出为:θh为网络参数,其中

v′s和t′s分别表示图像和文本模态的特定特征,和 分别表示图像和文本内模态的共享特征;

步骤S4022、定义哈希码分类损失函数:公式(5)中,LC表示为哈希码分类损失,ls表示为每一个特征的真实标签,具体表现形式为0‑1向量; 表示为每个的语义类别的概率分布, 表示为模态特定和模态共享的拼接;

步骤S4023、定义模态特定和模态共享特征的阈值度量损失函数:公式(6)中,h(x)=max(0,x),ξ表示阈值, 表示图片模态特定特征和共享特征的范数, 示文本模态特定特征和共享特征的范数;

步骤S4024、获取模态特定和模态共享哈希网络的优化损失:Lh=LC+β·Llm                 (7)公式(7)中,β表示为平衡参数。

7.根据权利要求6所述的一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,所述步骤S5包括:联合对抗自编码器网络的损失函数以及哈希网络的损失函数采用采用极小极大博弈策略进行优化,所述极小极大博弈策略具体通过随机梯度下降的优化算法实现。

8.根据权利要求7所述的一种基于模态特定和共享特征学习的跨模态检索方法,其特征在于,在所述步骤S5中,采用均方根传播优化器实现对抗自编码器网络的损失函数以及哈希网络的损失函数的优化。