1.一种基于导向视觉语义对齐的遥感图文检索方法,其特征在于,所述方法包括以下步骤:步骤一、模态输入前的预处理,对遥感图像‑文本数据集的图像和文本进行预处理,获得标准的模型输入样本数据;
步骤二、图文检索模型的搭建,包括构建模态输入、模态交互和相似性度量三部分,实现对视觉和文本模态特征提取、模态间信息交互和计算视觉和文本模态的余弦相似度;
步骤三、损失函数的设计,包括三元组排序损失函数和全局视觉语义损失函数,通过最小化损失函数实现图像和文本的对齐。
2.如权利要求1所述一种基于导向视觉语义对齐的遥感图文检索方法,其特征在于,所述步骤二包括以下子步骤:步骤2.1:构建模态输入;所述的模态输入包括两个视觉编码器和一个文本编码器;其中视觉编码器包括多尺度视觉编码器和显著目标编码器;
步骤2.2:构建模态交互;所述模态交互包括目标导向注意力模块;其包括模态内融合注意力模块和模态间引导注意力模块;模态内融合注意力模块对步骤2.1.2中映射后的多尺度视觉特征和显著目标特征进行融合,得到融合的视觉特征;模态间引导注意力模块利用步骤2.1.3中映射后的显著目标特征来引导词级文本特征的表达,得到视觉引导的文本特征;
步骤2.3:构建相似性度量;将步骤2.1.2中映射后的多尺度视觉特征和词级文本特征、步骤2.2获得的融合的视觉特征和视觉引导的文本特征使用均值化处理转换成对应的嵌入,分别计算多尺度视觉嵌入和词级文本嵌入的余弦相似度、融合视觉嵌入和视觉引导文本嵌入的余弦相似度。
3.如权利要求2所述一种基于导向视觉语义对齐的遥感图文检索方法,其特征在于,所述子步骤2.1的过程如下:步骤2.1.1:多尺度视觉编码器使用ResNet‑50作为网络骨架,在AID数据集上预训练,用于提取遥感图像中的多尺度视觉特征;在多尺度视觉编码器和后分别加入多层感知机对提取特征进行映射;
步骤2.1.2:显著目标编码器使用ResNet‑50作为网络骨架,在DOTA数据集上预先训练,用于提取显著目标特征;在显著目标编码器后分别加入全连接层获取对提取特征进行映射;
步骤2.1.3:其中文本编码器由Glove模型和双向GRU组成;Glove模型用于将句向量映射成一个300维度大小句向量;双向GRU获取这些句向量的上下文关系,得到初步的文本特征;在文本编码器后加入双流门控模块加强初步的文本特征深层的语义关联,得到词级文本特征。
4.如权利要求1~3之一所述一种基于导向视觉语义对齐的遥感图文检索方法,其特征在于,所述步骤三包括以下子步骤:步骤3.1:三元组排序损失函数通过最小化融合视觉嵌入VMR和视觉引导的文本嵌入TRG在潜在语义空间中的距离实现最终图像和文本之间的对齐;
步骤3.2:全局语义损失函数通过最小化多尺度视觉嵌入VM和词级文本嵌入TG,保证模态输入部分对图像和文本原始语义的不变性,作为融合视觉嵌入和视觉引导的文本嵌入的外部约束;
步骤3.3:组合三元排序损失函数和全局语义损失函数作为模型训练的总体损失函数。
5.如权利要求3所述一种基于导向视觉语义对齐的遥感图文检索方法,其特征在于,所述子步骤2.2的过程如下:目标导向注意力模块包括模态内融合注意力模块和模态间引导注意力模块;模态内融合注意力模块对步骤2.1.2中映射后的多尺度视觉特征FM和显著目标特征FR进行融合,首先′ ′对FM和FR经过一层全连接层得到FM和FR ,然后通过矩阵乘法计算两个特征的联合得分,然后分别激活两个特征,公式表示为:其中SMR表示多尺度视觉特征和显著目标特征的联合得分, 和 表示聚合特征,最后得到融合的视觉特征FMR,公式表示为:其中WL和bL表示线性变换的权重和偏置,∪表示按通道进行拼接;
模态间引导注意力模块利用步骤2.1.2中映射后的显著目标特征FR来引导步骤2.1.3中映 射 后的 词级 文本 特 征F G 的 表达 ,首 先 对 和进行预处理,分别计算均值,公式表示为:
然后对ER和EG经过一层全连接层得到F′R和F′G,然后计算两个特征的联合得分,然后激活文本特征,公式表示为:其中SRG表示显著目标特征和词级文本特征的联合得分, 表示聚合特征,最后得到视觉引导的文本特征FRG,公式表示为:其中MLP表示多层感知机。
6.如权利要求4所述一种基于导向视觉语义对齐的遥感图文检索方法,其特征在于,所述子步骤3.3中,总体损失函数表示为:其中α表示边缘参数,[x]+≡max(x,0),和 表示遥感图像和文本中最小批次的样本V和T中的最负的样本,S(·,·)表示步骤2.3计算余弦相似度, 表示三元组排序损失函数, 表示全局语义损失函数,λg表示全局视觉语义损失函数的权重因子。
7.如权利要求1~3之一所述一种基于导向视觉语义对齐的遥感图文检索方法,其特征在于,所述步骤一包括以下子步骤:步骤1.1:遥感图像的预处理;将图像数据分成训练集、验证集和测试集;对训练和验证数据进行数据增强处理,包括缩放、随机裁剪、随机翻转和标准化处理;
步骤1.2:文本数据的预处理;每个遥感图像对应五句文本描述;将这些文本进行文本分词、去除停用词和one‑hot编码处理,得到对应的词向量;再将这些词向量重新组合得到句向量。