欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025107559433
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种域判别注意增强的视觉语言遥感场景分类方法,其特征在于,包括以下步骤:

11)选择与处理遥感场景分类数据集:从公开的遥感场景分类数据集中选取AID、NWPU-RESISC45、UC Merced Land Use三个数据集共有的8个类别作为训练数据,并选取两个训练数据作为源域数据和目标域数据;源域数据包括源域图像和源域标签,目标域数据仅包含目标域图像;

12)构建域判别注意增强空间状态嵌入网络:包括一个图像编码器、文本编码器、域判别注意增强模块和空间状态嵌入模块;

121)构建图像编码器提取图像特征,使用CLIP中的ViT-B/16模型作为编码器,包括12层transformer结构带有12个注意力头和三个Linear层;

1211)ViT-B/16中的16表示Patch Embedding层输入的patch大小是16×16,B表示Base;

1212)transformer包括两个层归一化LN,一个12头自注意力、一个多层感知机MLP和两个残差连接;

1213)三个Linear层分别用于生成目标域查询Q、源域键K、源域值V矩阵;

122)构建文本编码器提取文本特征,文本编码器使用12层transformer结构,transformer结构与图像编码器一样,带有8个自注意力头;

123)构建域判别注意增强模块,该模块包括一个跨域注意力层、一个特征增强模块以及一个梯度反转层GRL;

1231)特征增强模块具体包括:一个全局平均池化GAP,两个全连接FC层,一个ReLU层,一个Sigmoid激活层,一个1×3卷积,一个3×1卷积、一个1×1卷积以及逐元素相乘操作;

124)构建空间状态嵌入模块,该模块包括以下操作:逐点卷积PWC、3×3卷积、Conv1d卷积、ReLU激活函数、SiLU激活函数、Linear线性层、状态空间模型SSM、逐元素相加操作以及拼接操作;

13)训练域判别注意增强空间状态嵌入网络:首先使用CLIP模型的预训练权重对图像和文本编码器进行参数初始化,再将源域数据和目标域数据分别输入域判别注意增强空间状态嵌入网络,根据损失反向传播更新网络参数,保存最佳权重参数;

14)对域判别注意增强空间状态嵌入网络进行测试:将目标域图像和源域标签输入训练完成的域判别注意增强空间状态嵌入网络,得到目标域图像的分类结果。

2.根据权利要求1所述的一种域判别注意增强的视觉语言遥感场景分类方法,其特征在于,所述训练域判别注意增强空间状态嵌入网络包括以下步骤:

21)使用对比语言图像预训练CLIP模型预训练好的ViT-B/16编码器对域判别注意增强空间状态嵌入网络进行初始化;

22)将源域图像和目标域图像输入图像编码器分别得到源域图像特征Sfeature和目标域图像特征Tfeature;

221)对源域图像和目标域图像分别执行一次Patch Embedding层,得到带有位置信息的特征嵌入Sembed和Tembed;

222)将两个特征嵌入分别输入transformer中,首先将特征嵌入Sembed和Tembed分别输入层归一化LN得到源域查询Qs、源域键Ks、源域值Vs、目标域查询Qt、目标域键Kt、目标域值Vt六个矩阵,矩阵各自通过多头自注意力计算得到注意分数attn1和attn2;

其中,是缩放因子,在ViT-B/16中值为64,KT表示矩阵K的转置,softmax是激活函数;

223)注意分数与特征嵌入进行残差相加,然后相加的结果再经过层归一化LN,而后经过多层感知机MLP输出,输出的结果与注意分数进行残差相加,得到第一个transformer的两个输出outputs和outputt;

outputs=MLP(LN(attns+Sembed))+(attns+Sembed),outputt=MLP(LN(attnt+Tembed))+(attnt+Tembed),其中,是缩放因子,在ViT-B/16中值为64,KT表示矩阵K的转置;

224)将第一个transformer的两个输出分别通过11个相同结构的transformer,得到更高级的语义特征Sfeature和Tfeature;

225)将Sfeature输入两个全连接Linear层分别得到源域键K、源域值V矩阵,Tfeature输入Linear层得到目标域查询Q矩阵;

23)将源域标签输入文本编码器得到文本特征zt;

231)首先对源域标签进行分词Tokenize操作,编码成token进行封装,给每个token添加一个开始词和结束词,将token映射到CLIP定义词表所对应的索引上,采用填充0的方式让所有文本序列的长度一致;

232)然后通过可训练的词嵌入矩阵,把词索引转换为低维词向量,维度为512;

233)再将低维词向量输入transformer模型中进行处理,其计算过程与图像的操作过程一致,低维词向量依次经过12层transformer的计算后得到文本特征zt;

zt=TextEncoder(Tokenize(SourceLabel)),其中,TextEncoder是文本编码器,Tokenize为分词操作,SourceLabel表示源域标签;

24)将图像编码器输出的目标域查询Q、源域键K、源域值V矩阵输入至域判别注意增强模块,经该模块处理后,得到融合域信息的图像特征zi,在处理过程中,梯度反转层GRL用于促进模型学习域不变特征;

241)先将目标域查询Q、源域键K、源域值V矩阵输入跨域注意力中,计算目标域查询Q和源域键值之间的跨域注意力分数矩阵CrossAttn;

242)将目标域查询Q、源域键K、源域值V沿特征维度拆分为8个头部Head,每个头部独立计算注意力并拼接结果;

MultiHead(Q,K,V)=Concat(Head1,...,Head8)·Wo,其中,Headi=CrossAttn(Qi,Ki,Vi),i表示1…8个注意力头的编号,Wo为输出投影矩阵,concat是按通道拼接操作;

243)将跨域注意力分数CrossAttn与目标域查询Q矩阵进行残差连接,并通过层归一化LN稳定训练,得到输出的图像特征zi;

zi=LN(Q+MultiHead·Wo′),

其中,Wo′为可选的维度对齐矩阵;

244)将输出的图像特征zi经过特征增强模块,得到融合域信息的图像特征zj;

2441)首先对图像特征zi执行一个全局平均池化GAP操作,在空间维度上进行压缩,从而获得每个通道的统计信息;

2442)随后将经过GAP操作的结果依次输入至两个全连接层FC,且这两个全连接层FC之间采用ReLU激活引入非线性变换;

2443)将第二个FC层的输出通过Sigmoid激活得到通道权重向量w;

w=Sigmoid(FC-ReLU-FC(GAP(zi))),

2444)接下来将图像特征zi依次进行1×3卷积、3×1卷积以及1×1卷积,得到非对称卷积输出特征za;

za=Conv1×1(Conv3×1(Conv1×3(zi))),

2445)最后将通道权重向量w与非对称卷积输出特征za相乘,得到融合域信息的图像特征zj;

其中,表示逐元素相乘;

245)使用梯度反转层进行隐式的对抗学习,促进模型学习域不变特征,GRL在前向传播过程中作为恒等映射,在反向传播中对梯度乘以一个负的学习率缩放因子λ;

GRL(x)=x,

其中,L是损失函数,x是输入特征,y是GRL(x)的输出特征,λ是可调节超参,范围在(0,1)之间;

25)将融合域信息的图像特征zj和文本特征zt输入空间状态嵌入模块,得到融合模态特征zf;

251)先将融合域信息的图像特征zj和文本特征zt分别经过一个3×3卷积、一个逐点卷积PWC和ReLU,得到outj、outt;

outj=ReLU(PWC(ReLU(Conv3×3(zj)))),outt=ReLU(PWC(ReLU(Conv3×3(zt)))),

252)将outj和outt逐元素相加后,经过一个3×3卷积和ReLU激活,一个线性层,一个Conv1d卷积和SiLU激活,得到out1;

其中,表示逐元素相加,Linear表示线性层;

253)再将outj和outt按通道拼接后,经过一个3×3卷积和ReLU激活,一个线性层,一个Conv1d卷积和SiLU激活,一个状态空间模型SSM,得到out2;

out2=SSM[SiLU(Conv1d(Linear(ReLU(Conv3×3(concat(outj,outt))))))],

254)最后将out1和out2拼接后通过一个线性层,得到融合模态特征zf;

zf=Linear(concat(out1,out2)),

26)计算融合模态特征zf和文本特征zt之间的相似度,在特征空间中将相似度最高的文本确定为图像的预测标签;

其中,|| ||2为L2范数,Similarity表示相似度;

27)计算预测标签与源域标签的交叉熵损失Loss;

Loss=cross_entropy_loss(logit,SourceLabel),其中cross_entropy_loss是pytorch框架中封装好的交叉熵损失函数,logit表示预测标签;

28)利用Loss进行反向传播更新网络参数,并判断是否达到设定轮数,或者Loss不再下降就停止训练,保存训练的最佳权重,否则返回步骤22)继续加载数据训练。

3.根据权利要求1所述的一种域判别注意增强的视觉语言遥感场景分类方法,其特征在于,所述对域判别注意增强空间状态嵌入网络进行测试的具体步骤如下:

31)将待测试的单张目标域图像和源域标签输入域判别注意增强空间状态嵌入网络中;

311)目标域图像输入图像编码器中得到输出,再经过三个全连接Linear层生成目标域查询Q、目标域键K、目标域值V矩阵输入域判别注意增强模块,得到融合域信息的图像特征;

312)源域标签输入文本编码器中得到文本特征;

313)将融合域信息的图像特征和文本特征输入空间状态嵌入模块,得到融合模态特征;

32)计算融合模态特征和文本特征的相似度,相似度最高的文本标签为测试图像的类别。