1.一种视觉语言模型的遥感影像KNN检索方法,其特征在于,包括如下步骤:S1:数据预处理;
S2:影像文本数据序列化;
S3:CLIP大模型训练;所述步骤S3 CLIP大模型训练包括:S31:输入遥感影像,将图像切分为固定大小的切块并将图像切块转换为嵌入空间;
S32:添加位置编码来显式地引入图块的位置信息;
S33:对层归一化后的结果进行多头自注意力机制和前馈神经网络进行处理并引入dropout从而避免产生过拟合或欠拟合;
S34:将改进QuickGELU激活MLP,并通过全连接层以及softmax层输出概率分布结果;其中改进QuickGELU激活函数的公式为:(1)
其中y表示输出结果,x为输入变量,σ表示 Sigmoid 函数,即(2)
(3)
(4)
表示经过动态调整后的参数,其中α是初始化时设定的参数;
步骤S35:通过标准的监督学习方法进行训练并在adam中调整优化;
S4:图文特征提取;所述步骤S4 图文特征提取处理包括:S41:输入图像经过三个卷积层和一个池化层后,输出一个较低分辨率的特征图,其中卷积层为可变性卷积,其公式为:(5)
其中,p是标准卷积中的填充参数,和分别表示输出和输入通道索引,i和j分别表示输出特征图在高度和宽度方向上的位置,是卷积核权重;
S42:通过多个Bottleneck残差块,进一步提取更复杂的高级特征;
S43:使用自注意力机制来聚合空间信息将特征图变成一个固定长度的向量;
S44:输出一个包含高维特征的向量用于进一步的检索任务;
S5: KNN检索评估,所述步骤S5 KNN检索评估包括:S51:计算特征提取的向量与数据集中的向量的距离;
S52:基于ground truth来判定前K个邻近是否相关;
S53:针对其召回率和mean_recall进行评估;对其召回率进行评估具体定义下:(6)
(7)
(8)
其中R为召回率,TP表示将正类预测为正类数,FN表示将负类预测为负类数,R@k(k=1,5,10)表示召回点,r(k)表示返回的前k个图像中相关图像的数量,r表示查询相关的图像总数,MR表示平均召回率;MR分数越高表示检索效果越好。
2.如权利要求1所述的一种视觉语言模型的遥感影像KNN检索方法,其特征在于,所述步骤S1数据预处理包括:S11:读取遥感影像数据文件并转换为base64编码;
S12:遍历遥感影像文件夹中的所有文件,对于每个遥感图像文件转换的base64编码,将其写入到指定的.tsv文件中。
3.如权利要求1所述的一种视觉语言模型的遥感影像KNN检索方法,其特征在于,所述步骤S2影像文本数据序列化包括:S21:将base64处理过的影像文件与文本文件进行序列化;
S22:针对序列化的数据将其转换为内存索引的LMDB数据库文件。