欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025100583376
申请人: 桂林理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种视觉语言模型的遥感影像KNN检索方法,其特征在于,包括如下步骤:S1:数据预处理;

S2:影像文本数据序列化;

S3:CLIP大模型训练;所述步骤S3 CLIP大模型训练包括:S31:输入遥感影像,将图像切分为固定大小的切块并将图像切块转换为嵌入空间;

S32:添加位置编码来显式地引入图块的位置信息;

S33:对层归一化后的结果进行多头自注意力机制和前馈神经网络进行处理并引入dropout从而避免产生过拟合或欠拟合;

S34:将改进QuickGELU激活MLP,并通过全连接层以及softmax层输出概率分布结果;其中改进QuickGELU激活函数的公式为:(1)

其中y表示输出结果,x为输入变量,σ表示 Sigmoid 函数,即(2)

(3)

(4)

表示经过动态调整后的参数,其中α是初始化时设定的参数;

步骤S35:通过标准的监督学习方法进行训练并在adam中调整优化;

S4:图文特征提取;所述步骤S4 图文特征提取处理包括:S41:输入图像经过三个卷积层和一个池化层后,输出一个较低分辨率的特征图,其中卷积层为可变性卷积,其公式为:(5)

其中,p是标准卷积中的填充参数,和分别表示输出和输入通道索引,i和j分别表示输出特征图在高度和宽度方向上的位置,是卷积核权重;

S42:通过多个Bottleneck残差块,进一步提取更复杂的高级特征;

S43:使用自注意力机制来聚合空间信息将特征图变成一个固定长度的向量;

S44:输出一个包含高维特征的向量用于进一步的检索任务;

S5: KNN检索评估,所述步骤S5 KNN检索评估包括:S51:计算特征提取的向量与数据集中的向量的距离;

S52:基于ground truth来判定前K个邻近是否相关;

S53:针对其召回率和mean_recall进行评估;对其召回率进行评估具体定义下:(6)

(7)

(8)

其中R为召回率,TP表示将正类预测为正类数,FN表示将负类预测为负类数,R@k(k=1,5,10)表示召回点,r(k)表示返回的前k个图像中相关图像的数量,r表示查询相关的图像总数,MR表示平均召回率;MR分数越高表示检索效果越好。

2.如权利要求1所述的一种视觉语言模型的遥感影像KNN检索方法,其特征在于,所述步骤S1数据预处理包括:S11:读取遥感影像数据文件并转换为base64编码;

S12:遍历遥感影像文件夹中的所有文件,对于每个遥感图像文件转换的base64编码,将其写入到指定的.tsv文件中。

3.如权利要求1所述的一种视觉语言模型的遥感影像KNN检索方法,其特征在于,所述步骤S2影像文本数据序列化包括:S21:将base64处理过的影像文件与文本文件进行序列化;

S22:针对序列化的数据将其转换为内存索引的LMDB数据库文件。