1.一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,所述方法包括:
获取带标签的源域遥感图像数据集和对应的无标签的目标域遥感图像数据集;
将源域遥感图像数据集和目标域遥感图像数据集输入提示视觉编码器提取图像特征,提示视觉编码器中第一层的视觉提示编码从正态分布中随机生成,而后每一层的视觉提示编码源于前一层中视觉提示编码与前一层中文本提示编码基于交叉注意力的融合;
根据源域遥感图像的类别构建包括类别的初始文本描述,并输入到提示文本编码器得到文本特征,提示文本编码器中第一层的文本提示编码采用初始文本描述,而后每一层的文本提示编码源于前一层中视觉提示编码与前一层中文本提示编码基于交叉注意力的融合;
计算每个图像特征与所有类别的文本特征之间的余弦相似度,将得到的多个余弦相似度转换为预测类别概率;
根据预测类别概率构建类别概率矩阵,计算类别概率矩阵的核范数,并计算在源域上对类别概率矩阵的核范数的期望和目标域上对类别概率矩阵的核范数的期望的差异得到域差异,通过调整模型参数,使域差异最小化。
2.根据权利要求1所述的一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,每一层的视觉提示编码源于前一层中视觉提示编码与前一层中文本提示编码基于交叉注意力的融合,包括:采用参数一致的融合函数,将前一层中视觉提示编码作为键,前一层中文本提示编码作为查询,计算每一层的视觉提示编码;
每一层的文本提示编码源于前一层中视觉提示编码与前一层中文本提示编码基于交叉注意力的融合,包括:采用参数一致的融合函数,将前一层中文本提示编码作为键,前一层中视觉提示编码作为查询,计算每一层的文本提示编码。
3.根据权利要求1所述的一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,将带标签的源域遥感图像数据集和对应的无标签的目标域遥感图像数据集输入到预训练视觉编码器,得到预训练视觉特征,将预训练视觉特征与提示视觉编码器输出的图像特征之间的余弦相似度用来计算图像特征稳定性约束损失,通过最小化图像特征稳定性约束损失将图像特征处于预训练视觉编码器的语义空间。
4.根据权利要求3所述的一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,所述图像特征稳定性约束损失为:,其中,是带标签的源域遥感图像,是无标签的目标域遥感图像,是预训练视觉编码器提取的源域预训练视觉特征,是预训练视觉编码器提取的目标域预训练视觉特征,是提示视觉编码器得到的源域图像特征,是提示视觉编码器得到的目标域图像特征,计算源域中预训练视觉编码器输出的预训练视觉特征与提示视觉编码器后输出的图像特征的余弦相似度,计算目标域中预训练视觉编码器输出的预训练视觉特征与提示视觉编码器后输出的图像特征的余弦相似度。
5.根据权利要求1所述的一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,所述初始文本描述通过预训练文本编码器嵌入模板为 “一张[类别]的照片”,并进行初始化生成,将预训练文本编码器提取的预训练文本特征与提示文本编码器输出的文本特征之间的余弦相似度用来计算文本特征稳定性约束损失,通过最小化文本特征稳定性约束损失确保文本特征的一致性。
6.根据权利要求5所述的一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,文本特征稳定性约束损失为,其中,是源域的初始文本描述,是目标域的初始文本描述,是预训练文本编码器提取的源域预训练文本特征,是预训练文本编码器提取的目标域预训练文本特征,是提示文本编码器得到的源域文本特征,是提示文本编码器得到的目标域文本特征,计算源域中预训练文本编码器输出的预训练文本特征与提示文本编码器后输出的文本特征的余弦相似度,计算目标域中预训练文本编码器输出的预训练文本特征与提示文本编码器后输出的文本特征的余弦相似度。
7.根据权利要求1所述的一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,将得到的多个余弦相似度转换为预测类别概率后,在源域中得到的预测类别概率计算源域分类损失,用于评估源域样本的预测概率与源域真实标签的匹配程度;
在目标域中,将最大预测类别概率超过预设置信度阈值的目标样本分配伪标签,否则将目标样本从目标域分类损失计算中排除,计算目标域分类损失,用于评估目标域样本的预测概率与目标域高置信度伪标签的一致性。
8.根据权利要求1所述的一种概率对齐无监督域适应遥感图像跨场景分类方法,其特征在于,根据源域的类别概率矩阵与目标域的类别概率矩阵计算概率差异损失,并将概率差异损失关于模型参数的偏导数形成的梯度通过梯度反转层反向传递至提示视觉编码器,用于更新提示视觉编码器的参数。
9.一种概率对齐无监督域适应遥感图像跨场景分类系统,其特征在于,包括:
数据获取模块,用于获取带标签的源域遥感图像数据集和对应的无标签的目标域遥感图像数据集;
提示视觉编码器,用于根据源域遥感图像数据集和目标域遥感图像数据集提取图像特征,包括多层的图像编码器,所述提示视觉编码器中第一层的视觉提示编码从正态分布中随机生成,而后每一层的视觉提示编码源于前一层中视觉提示编码与文本提示编码基于交叉注意力的融合;
提示文本编码器,包括多层文本编码器用于提取文本特征,提示文本编码器中第一层的文本提示编码采用初始文本描述,而后每一层的文本提示编码源于前一层中视觉提示编码与文本提示编码基于交叉注意力的融合;
渐进式注意力交互提示模块,基于交叉注意力的融合,根据前一层中视觉提示编码与文本提示编码计算当前层的文本提示编码或视觉提示编码;
余弦相似度计算模块,计算每个图像特征与所有类别的文本特征之间的余弦相似度,将得到的多个余弦相似度转换为预测类别概率;
类别概率差异度量模块,根据预测类别概率构建类别概率矩阵,计算类别概率矩阵的核范数,并计算在源域上对类别概率矩阵的核范数的期望和目标域上对类别概率矩阵的核范数的期望的差异得到域差异,通过调整模型参数,使域差异最小化。
10.权利要求9所述的一种概率对齐无监督域适应遥感图像跨场景分类系统,其特征在于,还包括第一特征稳定性约束模块,将带标签的源域遥感图像数据集和对应的无标签的目标域遥感图像数据集输入到预训练视觉编码器,得到预训练视觉特征,将预训练视觉特征与提示视觉编码器输出的图像特征之间的余弦相似度用来计算图像特征稳定性约束损失,通过最小化图像特征稳定性约束损失将图像特征处于预训练视觉编码器的语义空间;
第二特征稳定性约束模块,将预训练文本编码器提取的预训练文本特征与提示文本编码器输出的文本特征之间的余弦相似度用来计算文本特征稳定性约束损失,通过最小化文本特征稳定性约束损失确保文本特征的一致性。