1.一种基于半监督对抗生成网络的迁移检索方法,其特征在于,包括以下步骤:
1)构建对抗生成网络进行跨数据域的哈希检索,如不同数据库下、摄像头下或不同场景下数据,其目标是将原始数据集和目标数据集映射到一个共同的汉明空间,从而实现跨数据域的智能和快速的图像检索;
2)利用步骤1)中适用于迁移检索的对抗生成网络,生成模型从原始数据集和目标数据集随机选取数据对并生成最有利于标记的数据对,判别模型用于区分生成模型选出的数据对是否为真实相似的数据对;
3)利用循环一致网络保持相似图像之间的相似性;
4)根据步骤2)中的判别模型加入边缘超参数,使得相似图像之间的距离减小,不相似图像之间的距离增大;
5)在训练判别模型的阶段固定生成模型的参数,反之,在训练生成模型的阶段固定判别模型的参数;
6)利用步骤5)中得到的判别模型提取检索需要的特征。
2.如权利要求1所述的基于半监督对抗生成网络的迁移检索方法,其特征在于:所述的对抗网络模型包含生成模型和判别模型,生成模型分别接收来自原始数据中的有标签图像和目标数据中的无标签图像,生成模型同时也接收来自原始数据集中的真实相似图像对,从而生成最有利于标记的数据对;判别模型将生成模型生成的数据对和原始真实相似图像对作为输入,并区分是生成图像对还是真实图像对,这两个模型在训练过程中扮演着对抗的角色,最后将判别模型作为跨数据域的特征提取模型用于检索任务;
在基于半监督对抗生成网络的迁移检索方法中,使用Is表示有标签的原始数据集,It表示无标签的目标数据集,合并两个数据集为D={Is,It},(Is,It)∈R,合并数据集D可划分为Dtrain和Dq,其中Dtrain是检索数据集,Dq是查询数据集;检索数据库Dtrain也作为网络训练数据集,包含了有标签数据集 其中 n表示有标签的数据集大小, 中的类别标签可表示为 以及无标签数据集 其中 m表示无标签数据
的大小,m>>n;查询数据集Dq={Is,It},其中 基于半监督对抗生成
网络的目标是训练两个映射方程 和 两个映射将原始数据集
合目标数据映射到一个共同的汉明空间中,实现图像的迁移检索;通过学习映射函数给出任一数据集中的图像,通过快速汉明距离测量来检索另一数据集中的语义相似图像。
3.如权利要求1或2所述的基于半监督对抗生成网络的迁移检索方法,其特征在于:所述生成模型分为两条路径,分别接收原始数据集中的图像和目标数据集中的图像,两条路径结构相同,都包含特征提取层和哈希码映射层,采用深度卷积网络提取图像的特征并使用预训练模型为深度卷积网络提供参数,在训练阶段固定深度卷积网络的参数不变,因为半监督对抗生成网络的目标是学习两个哈希映射方程,在此使用VGG16网络作为图像的特征提取网络;哈希码映射层的结构在两条路径中也是相同的,并且它由两个完全连接的层组成。第一个完全连接的层充当一个中间层,将特定于模态的特征映射到一个公共空间。第二个完全连接层用作哈希函数,它将中间特征进一步映射为哈希码:h(x)=sigmoid(WTf(x)+b) (1)
其中f(x)表示第一层全连接层从VGG16最后一层提取的特征,W表示第二层全连接层的参数,b表示偏置;在两条路径中,最后一层全连接层的维度设置为与哈希码长度q相同;在全连接层中f(x)被映射到[0,1]q之间,因此公式(1)中的h(x)∈[0,1]q,为了得到图像的稀疏编码将h(x)送入阈值分段函数进行二值化,形式如下:通过哈希码映射层,原始数据集和目标数据集的特征被映射到相同维度的汉明空间,以便通过快速的汉明距离计算可以测量不同数据集之间的相似度。生成模型的输入由标记数据和未标记数据组成,生成模型的目标是在给出对一个数据集的查询时,选择位于边缘附近的另一个数据集的信息性未标记数据;
对抗模型也可以分为两条路径,且对抗网络和生成网络是对称的,因此具体的网络结构与生成网络结构相同;判别模型的输入是生成模型生成的最具有标记意义的相关对,以及从标记图像中抽取的真实相关对,区分模型的目标是区分输入对是生成还是真实对。
4.如权利要求1所述的基于半监督对抗生成网络的迁移检索方法,其特征在于:当从原始数据集中随机选取一张图像,生成模型试图从目标数据集中选取一张图像作为相似图像对从而欺骗判别模型,而判别模型尽量区分是真实相似图像对还是生成模型生成的相似图像对;对抗损失函数被定义为公式(3):其中,假设在原始数据集中与图像iL相似的图像有Isimilar={i1,i2,...,it},在给定查询图像iL的情况下,p(it|iL)和p(iU|iL)表示当从Isimilar中选取有标签图像it,生成模型从目标数据集中选取无标签数据iU,生成模型的目标是近似不同数据集之间的图像真实分布;在判别模型中fφ(it,iL)和fφ(iU,iL),试图预测给定图像it和候选图像iU对的相关性分数;区分模型的输入包括由语义标签抽样的真实对,以及来自生成模型的生成对;区分模型的目标是尽可能准确地区分由语义标签抽样的真实对和生成模型生成的相似对;
生成模型G即p(iU)的如公式(4)所示:
其中dis(,)表示余弦距离公式,具体表现形式如公式(5)所示:
h(ξ)表示从生成网络两条路径的哈希映射函数中提取到的特征,通过公式(4)计算给L U定图像i和选择图像i之间相似的可能性,距离越小表示相似的概率越大;
当图像都来自数据集Is,使用pcyc(it|iL)表示真实图像对的数据分布,因此使用循环一致性损失保持原始数据集中相似图像对的空间映射,循环一致性损失如公式(6)所示:在判别模型D中预测图像it和选择图像iU之间的相似的可能性,D的定义如公式(7)所示:D(iU|iL)=ReLU(fφ(iU,iL))
D(it|iL)=ReLU(fφ(iU,iL)) (7)
其中相关性得分fφ(it,iL)和fφ(iU,iL)被定义为三元组损失,如公式(8)、(9)所示,i-∈(IS-Isimilar),三元组损失的目标是使得图像对(iL,iU)的距离大于图相对(iL,it)的距离,通过添加边缘超参数m加大它们之间的距离,使得空间映射更具有代表性,同样也保持标签数据之间的基于排名的关系;
U L L L U
fφ(i ,i)=max(0,m-dis(i ,it)+dis(i ,i)) (8)fφ(it,iL)=max(0,m-dis(iL,it)+dis(iL,i-)) (9)。
5.如权利要求1或4所述的基于半监督对抗生成网络的迁移检索方法,其特征在于:在半监督对抗生成网络被训练之后,通过判别模型执行跨数据域的检索;给定任何一个数据集中的图像查询,首先通过公式(2)编码为稀疏二进制编码;然后通过查询和数据库中每个数据之间的快速汉明距离计算来执行跨数据域的检索。