1.一种无监督对抗训练的基于内容的图像检索方法,其特征在于,所述方法包括以下步骤:
步骤一、网络构建,过程如下:步骤1.1:该无监督对抗网络框架由一个生成模型和一个判别模型两部分组成,生成模型和判别模型都是由三层的全连接网络构成;
步骤1.2:生成模型的第一个全连接层后接Relu激活函数;
步骤1.3:生成模型的第二个全连接层后接tanh激活函数,把输出控制为{0,1};
步骤1.4:生成模型的第三个全连接层后接余弦距离度量函数;
步骤1.5:判别模型的第一个全连接层后接Relu激活函数步骤1.6:判别模型的第二个全连接层后接tanh激活函数,把输出控制为{0,1};
步骤1.7:判别模型的第三个全连接层后接相似性得分函数;
步骤1.8:判别模型把计算出的相似性得分反馈到生成模型中;
步骤二、数据集预处理,过程如下:步骤2.1:将数据分为问询数据集Q、测试数据集Q’和待检索数据集D三部分,其中在待检索数据集中再随机提取一部分图片作为提取图片特征时微调网络参数的数据集F;
步骤2.2:用在ImageNet上预训练好的VGG模型来提取图片特征,用VGG提取图片特征之前需要用步骤2.1中提到的少量图片数据集F微调网络参数;
步骤2.3:将图片以特征向量的形式输入无监督对抗网络中;
步骤三、网络训练,过程如下:步骤3.1:用随机权值初始化生成模型和判别模型参数;
步骤3.2:训练生成模型的过程如下:步骤3.2.1:将VGG网络提取出来的问询数据集Q和待检索数据集D图片特征送入生成模型;
步骤3.2.2:生成模型对输入的问询数据集Q和待检索数据集D的特征进行权值优化;
步骤3.2.3:针对每一张问询图片,生成模型计算其与待检索数据集中的图片的余弦距离,利用softmax函数将余弦距离转换为图片被选中的概率,根据概率高低从待检索数据集D中选择K张图片特征作为生成器的输出;
步骤3.2.4:用逻辑损失函数最大化问询图片与选中的K张图片的相似度与1的差值;
步骤3.3:训练判别模型的过程如下:步骤3.3.1:将生成器返回的K张的图片特征作为判别器的输入,并重新对问询图片和生成器返回的K张图片的特征进行权值优化;
步骤3.3.2:重新计算每一个问询图片和返回的K张图片之间的余弦距离,并根据距离给出相似性得分;
步骤3.3.3:判别器将计算出的相似性得分反馈到生成器中,作用于生成器接下来对待检索图片的选择,并用逻辑回归函数减小问询图片和返回的K张图片之间的距离与0的差值;
步骤3.4:用随机梯度下降算法最小化损失函数;
步骤四、精度测试,过程如下:步骤4.1:将预处理好的测试数据集Q’送入最优生成器模型;
步骤4.2:生成器针对给定的问询图片,从待检索数据集D中选择topK张相似度最高的图片;
步骤4.3:比较问询图片的标签和生成器返回的K张图片的标签是否一致,根据信息检索中的评价准则计算所有问询图片的平均准确率;
经过上述步骤的操作,即可实现对测试图片的检索。