1.一种基于信息处理的遥感图文检索方法,其特征在于,所述方法包括以下步骤:步骤一、遥感图文预处理,对遥感图像-文本数据集的图像和文本输入进行预处理操作;
步骤二、遥感图文检索模型的搭建,包括构建图文预编码,构建目标信息增强模块和噪声信息压缩模块,获得最终的视觉和文本嵌入特征;
步骤三、表征对齐,包括相似度量和子空间表征;计算视觉和文本模态特征的余弦相似度矩阵,设计对比损失函数,设计总体损失函数,通过最小化总体损失函数实现图像和文本的对齐。
2.如权利要求1所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤二包括以下子步骤:步骤2.1:构建图文预编码;所述的图文预编码包括一个视觉编码器、一个多信息编码器和一个文本编码器,过程如下:步骤2.1.1:使用Swin Transformer网络作为视觉编码器,用于提取视觉全局类别特征和局部相关特征;
步骤2.1.2:使用一个预训练的Bert模型作为文本编码器,用于提取文本全局类别特征和局部相关特征;
步骤2.1.3:使用在AID数据集上预训练的ResNet50网络作为多信息编码器,利用卷积神经网络不同层次感受野的特点,提取多尺度特征向量,从而捕获更多遥感图像的细节特征,增强视觉表征能力;
步骤2.2:构建目标信息增强模块;将步骤2.1.3中提取的多尺度特征输入设计的细节引导信息注意模块,将细节信息融合到视觉特征中以丰富图像的细节表达;同时,通过多层感知机激活文本特征以提升文本的表达丰富度;
步骤2.3:构建噪声信息压缩模块;将步骤2.2中生成的图像特征和文本特征进行压缩处理,得到压缩的视觉特征和文本特征;然后,将各自的全局类别特征加入其中,生成视觉嵌入特征和文本嵌入特征,并通过对齐信息瓶颈函数对特征压缩过程施加约束,进一步优化特征表达。
3.如权利要求2所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤2.1.1中,首先将输入图像划分为个固定大小的图像块,然后用SwinTransformer网络对这些图像块进行编码,得到视觉全局特征和局部相关特征表述为:其中表示视觉编码器,是微调权重,[·,·]表示在序列长度维度上进行堆叠和连接,m是局部相关特征的数量。
4.如权利要求2或3所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤2.1.2中,使用一个预先训练过的Bert作为文本编码器来编码文本T,从而得到文本全局类别特征和文本局部特征表述为:其中表示文本编码器,是微调权重,n是局部相关特征的数量。
5.如权利要求2或3所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤2.1.3中,从预先训练好的ResNet50模型中选择了不同深度的卷积层,得到不同感受野的局部细节多信息Cl:Cl=(Layerl(Il-1)), (3)
其中Layerl(·)表示ResNet50的各个卷积层,总共四个卷积层,Il-1表示l-1层的输出;然后,通过设计的细节引导信息注意模块将细节多信息融入到视觉特征中以丰富图像的细节表达,具体来说,首先将局部细节多信息Cl通过池化和重塑操作将Cl重塑为局部相关特征Fv的形状,从而获得预融合特征公式表示为:其中Pool(·)表示池化操作,Reshape(·)表示重塑操作。
6.如权利要求2或3所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤2.2中,借助多头注意力方法的思想设计细节引导信息注意模块融合来自不同来源的特征信息,首先,激活图像特征,将输入Fv线性映射为三个向量:查询Qi、键Ki和值Vi,公式表示为:其中WiQ,是可训练参数,i表示第i个注意力头,之后,就得到第l个信息块中被激活的图像特征公式表示为:其中Softmax(·)是Softmax函数,h是注意力头的数量,D为图像特征Fv的维度,接下来,将预融合特征与图像特征融合,最终得到融合特征vl,公式表示为:vl=[vl,1,vl,2,...,vl,h], (7)
其中WjQ,WjQ,WjV是可学习的参数,,最后,对四个信息融合块中的特征进行选择性求和,得到最终的图像视觉特征vf,用公式表示为:其中αl∈{0,1},其决定哪一层的图像融合特征被加入到最终图像视觉特征中;
为了增强文本的特征,使用多层感知机提取更丰富的文本信息得到最终文本特征tf,用公示表示为:tf=MLP(Ft) (9)。
7.如权利要求2或3所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤2.3中,对于图像特征vf,使用掩蔽方法来减少冗余信息,通过简单的参数编码器限制图像特征vf到压缩特征ve的信息流,并使用重参数化技巧来得到ve,具体用公式表示为:ve=λvvf+(1-λv)∈v, (10)
其中即与vf有相同均值和方差的高斯分布,λv∈(0,1),可以通过对一个可学习的参数αv通过Sigmoid函数得到,公式表示为:λv=Sigmoid(αv), (11)
文本压缩特征可以通过相同的方法得到,然后将vcls和tcls分别添加到ve和te中,以避免在压缩过程中丢失这些重要信息,得到了最终的嵌入特征和之后根据目标关系,设计对齐信息瓶颈函数,即视觉信息瓶颈函数和文本信息瓶颈函数,公式表示为:其中θv和θt分别表示视觉信息瓶颈和文本信息瓶颈所需用到的参数,βv和βt表示压缩系数,用于平衡对齐信息瓶颈函数中的压缩项I(ve,vf;θv)和拟合项I(·,·;θ)表示互信息;
为了计算视觉信息瓶颈函数,首先计算压缩项I(ve,vf;θv):其中DKL(·||·)表示KL散度,但由于边缘分布p(ve;θv)难以计算,于是通过高斯分布来近似约束,其中IJ为J维的单位矩阵,J为ve的维度,于是估计得到该压缩项的上界,公式表示为:然后计算KL散度,公式表示为:
其中σ和μ表示p(ve丨vf;θv)的均值和方差,其通过采样得到;
此外,计算视觉信息瓶颈拟合项公式表示为:
由于难以计算,所以使用来进行近似约束,其中gv(·)表示用于对齐和的映射,D为的维度,从而近似得到拟合项的下界,公式表示为:然后通过从经验分布采样进一步优化目标,最后,对嵌入进行归一化处理,对于归一化后的和的高斯概率密度的对数可以简化为和之间的余弦相似度成正比,于是,得到了最终的优化目标:同样的,可以得到文本信息瓶颈函数
最后得到对齐信息瓶颈函数,公式表示为:
8.如权利要求1~3之一所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤一包括以下子步骤:步骤1.1:遥感图像的预处理;对图像数据进行预处理,将其划分为训练集、验证集和测试集;对训练集和验证集进行数据增强操作,包括缩放、随机裁剪、随机翻转和标准化处理,以提高模型的鲁棒性和泛化能力;
步骤1.2:文本数据的预处理;每幅遥感图像对应五句文本描述,首先,在每句文本开头添加特殊标记[CLS]以标识句子的起始,并在句末添加标记[SEP]以标识句子的结束;随后,构建单词向量表,将每个单词转化为一维向量以便后续处理。
9.如权利要求1~3之一所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤三包括以下子步骤:步骤3.1:设计对比损失函数;计算相应的最终视觉嵌入特征和最终文本嵌入特征的余弦相似度,得到视觉到文本的对比损失和文本到视觉的对比损失,从而得到对比损失;
步骤3.2:组合对比损失函数和对齐信息瓶颈函数作为模型训练的总体损失函数。
10.如权利要求9所述的一种基于信息处理的遥感图文检索方法,其特征在于,所述步骤3.1中,给定一个小批样本,随机取样N个正对{(I1,T1),(I2,T2),...,(Ii,Ti),...,(IN,IN)},其对应的最终视觉嵌入特征和最终文本嵌入特征为然后计算余弦相似度于是得到视觉到文本的对比损失和文本到视觉的对比损失,用公式表示为:其中τ是温度参数,最终得到对比损失,用公式表示为:
所述步骤3.2中,组合对比损失函数和对齐信息瓶颈函数作为模型训练的总体损失函数,用公式表示为:其中λ为系数,用于权衡对齐信息瓶颈损失在总体损失函数中的占比。