1.一种全局-局部信息交互注意的遥感图像文本检索方法,其特征在于,包括如下步骤:步骤1、搭建基于FasterR-CNN模型的图像区域特征提取网络,包括:遥感图像对象框检测模块和遥感图像区域级特征提取模块;
步骤1.1、所述遥感图像对象框检测模块获取遥感图像数据集及其对应的文本数据集后,使用FasterR-CNN模型对所述遥感图像数据集中任意一张遥感图像pic进行处理,获得置信度得分最高的q个对象框;
步骤1.2、使用BUTD模型从遥感图像pic的q个对象框中进行特征提取,获得遥感图像pic的一组区域特征P={p1,…,pi,…,pq},pi表示遥感图像pic的第i个对象框所对应的区域特征,Dv表示特征的维度,q表示区域特征的总数;i=1,…,q;
步骤2、搭建基于BERT模型的文本词级特征提取网络,并用于对遥感图像pic对应的文本进行处理,得到一组词级特征E;
步骤3、搭建全局-局部注意力处理模块,并用于对P进行处理,得到遥感图像pic的一组信息交互注意的特征向量F;
步骤4、搭建空间注意力聚合模块,并用于对F和E进行处理,得到遥感图像pic的特征v及其对应文本的特征t;
步骤5、构建由遥感图像区域级特征提取网络、文本词级特征提取网络、全局-局部注意力处理模块、空间注意力聚合模块构成的遥感图像文本检索网络,并建立损失函数L用于训练网络,从而得到最优的遥感图像文本检索网络,用于对遥感图像和文本进行检索:步骤5.1、利用式(1)构建网络的损失函数L;
式(1)中,(v,t)表示任意一组匹配的遥感图像-文本特征对;δ是预定义的裕度参数,s(·)是余弦距离函数;(v-,t)表示任意一组文本特征t及其不匹配遥感图像特征v-的遥感图像-文本特征对,(v,t-)表示任意一组遥感图像特征v及其不匹配文本特征t-的遥感图像-文本特征对;
步骤5.2、将遥感图像数据集及其对应的文本数据集输入到所述图文检索网络中,并通过Adam优化器不断优化损失函数L,以调整网络参数,从而得到最优的遥感图像文本检索网络。
2.根据权利要求1所述的一种全局-局部信息交互注意的遥感图像文本检索方法,其特征在于,所述步骤2中的文本词级特征提取网络包括:子词分词器模块和文本词级特征提取模块;
步骤2.1、所述文本子词分词器模块使用WordPiece分词器将遥感图像pic对应的文本拆分为子词序列;
步骤2.2、所述文本词级特征提取模块将拆分后的子词序列有序的输入预训练的BERT模型中进行处理,获得一组词级特征E={e1,…,ej,…,es},ej表示第j个单词的特征,Dt表示特征的维度,s表示文本中单词的总数,j=1,…,s。
3.根据权利要求2所述的一种全局-局部信息交互注意的遥感图像文本检索方法,其特征在于,所述步骤3中的全局-局部注意力处理模块包括:全局注意力特征生成模块、相似矩阵构建模块、局部校准特征生成模块、全局-局部注意力特征融合模块;
步骤3.1、所述全局注意力特征生成模块将一组区域特征P通过三种不同的线性层投影到隐藏空间,并通过式(2)得到全局注意力矩阵M,再通过公式(3)生成归一化后的全局注意力图Ag,通过式(4)得到全局注意力特征Pg;
M=fq(P)·fk(P)T (2)
Pg=Ag·fv(P) (4)
式(2)-式(4)中,fq(·)、fk(·)和fv(·)表示三种不同的线性映射层,dh表示隐藏空间的维度,T表示转置,Softmax表示激活函数;
步骤3.2、所述相似矩阵构建模块通过式(5)构建具有掩码窗口的相似矩阵式(5)中,w为掩码窗口的大小,Mij表示M中第i行第j列的元素,表示中第i行第j列的元素,i,j∈[0,q-1];
步骤3.3、所述局部校准特征生成模块对具有掩码窗口的相似矩阵通过式(6)生成局部校准注意力图Al,再通过式(7)得到局部校准特征Pl;
Pl=Al·fv(P) (7)
步骤3.4、所述全局-局部注意力特征融合模块通过式(8)和式(9)得到遥感图像pic的一组信息交互注意的特征向量F={f1,…,fi,…,fq},表示第i个信息交互注意的特征:Po=α·Pg+(1-α)·Pl (8)
F=LN(X+fh(Norm(Po))) (9)
式(8)-式(9)中,α表示待学习的权重,Po表示融合的特征,Norm(·)表示幂归一化和L2归一化的组合,fh(·)将特征从隐藏空间的维度dh映射回区域特征的维度Dv,LN表示层归一化,+表示残差连接。
4.根据权利要求3所述的一种全局-局部信息交互注意的遥感图像文本检索方法,其特征在于,所述步骤4中的空间注意力聚合模块包括:图像区域级特征聚合模块、文本词级特征聚合模块;
步骤4.1、所述图像区域级特征聚合模块通过式(10)得到遥感图像pic的投影特征向量V={v1,…,vi,…,vq},vq∈Rd表示第i个投影特征;
vi=Wv·fi+bv (10)
式(10)中,为遥感图像pic的投影矩阵,bv为遥感图像pic的偏置变量;
步骤4.2、所述图像区域级特征聚合模块通过式(11)得到遥感图像pic的权重矩阵Mv∈Rq×d;再通过式(12)得到遥感图像pic的特征v∈Rd;
Mv=σ(V·M1) (11)
式(11)-式(12)中,M1∈Rd×d是遥感图像pic的待学习参数矩阵,σ表示列方向的softmax归一化,⊙表示点乘运算;
步骤4.3、所述文本词级特征聚合模块通过式(13)得到遥感图像pic对应文本的投影特征向量T={t1,…,tj,…,ts},tj∈Rd表示第j个投影特征;
tj=Wt·ej+bt (13)
式(13)中,为遥感图像pic对应文本的投影矩阵,bt为遥感图像pic对应文本的偏置变量;
步骤4.4、所述文本词级特征聚合模块通过式(14)得到遥感图像pic对应文本的权重矩阵Mv∈Rs×d;再通过式(15)得到遥感图像pic对应文本的特征t∈Rd;
Mt=σ(T·M2) (14)
式(14)-式(15)中,M2∈Rd×d是遥感图像pic对应文本的待学习参数矩阵,σ表示列方向的softmax归一化,⊙表示点乘运算。
5.一种电子设备,包括存储器以及处理器,其特征在于,所述存储器用于存储支持处理器执行权利要求1-4中任一所述遥感图像文本检索方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。
6.一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行权利要求1-4中任一所述遥感图像文本检索方法的步骤。