1.一种基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,包括初始建筑物掩码生成模块、伪标签优化与模型迭代增强模块;初始建筑物掩码生成模块包括查询文本集合构建单元、特征提取单元、跨模态注意力交互单元、初始建筑物实例生成单元、实例融合与掩码生成单元;伪标签优化与模型迭代增强模块包括伪标签筛选单元、模型迭代训练单元、动态参数调整单元;
查询文本集合构建单元用于构建由多个提示词组成的多样化的查询文本集合;
特征提取单元用于使用对齐提示编码器提取查询文本集合的文本特征,以及提取遥感图像的多尺度视觉特征;
跨模态注意力交互单元用于采用自适应的跨模态注意力机制对文本特征和多尺度视觉特征进行交互,以得到融合文本信息的视觉特征;
初始建筑物实例生成单元用于对融合文本信息的视觉特征进行阈值处理、连通区域分析和去重叠处理,以生成初始的建筑物实例;
实例融合与掩码生成单元用于将基于不同查询文本得到的初始的建筑物实例进行融合,以得到初始建筑物掩码,并基于初始建筑物掩码得到初始建筑物分割伪标签;
伪标签筛选单元用于基于不确定量化、交叉验证一致性和几何约束过滤,从初始建筑物分割伪标签中筛选出可靠的伪标签;
模型迭代训练单元用于采用弱监督训练和微调优化两阶段训练法逐步增强系统的泛化能力;
动态参数调整单元用于采用阈值自适应更新和查询文本权重再分配进行动态参数调整。
2.根据权利要求1所述的基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,特征提取单元具体用于将查询文本集合中的各个查询文本输入至对齐提示编码器中的文本编码器中,文本编码器将查询文本转换为对应的文本特征;
特征提取单元还用于使用对齐提示编码器中的视觉编码器处理遥感图像,以提取出多尺度视觉特征。
3.根据权利要求2所述的基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,跨模态注意力交互单元具体用于:基于余弦相似度计算查询文本集合中的各个查询文本的文本特征和多尺度视觉特征中各个尺度的特征图之间的相似度,对于第个遥感图像的第个尺度的特征图,将展平为一个向量序列,然后计算第个文本特征与中每个元素的点积,得到相似度得分矩阵;
然后使用softmax函数对相似度得分矩阵进行归一化处理,得到归一化后的注意力权重矩阵,表达式为:其中,表示中的第个元素,表示中的第个元素,为相似度得分矩阵的序列长度,表示归一化后的注意力权重矩阵中的第个元素;
接着引入自适应调整因子对归一化后的注意力权重矩阵进行调整,表达式为:其中,表示最终的注意力权重矩阵中的第个元素;
最后,使用对进行加权求和,得到融合文本信息的视觉特征,表达式为:其中,表示中的第个元素。
4.根据权利要求3所述的基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,初始建筑物实例生成单元具体用于:对进行阈值处理,设定阈值,将中大于的元素作为属于建筑物的部分,将中小于或等于的元素作为背景,从而得到一个二值化的特征图;
使用连通区域分析算法对二值化的特征图进行处理,找出中相互连通的前景像元集合,每个连通区域代表一个潜在的建筑物实例;
对检测到的连通区域进行后处理,当两个或两个以上连通区域存在重叠时,根据连通区域的置信度进行筛选,保留置信度最高的连通区域,并去除其他连通区域,从而得到一组不重叠的初始的建筑物实例。
5.根据权利要求4所述的基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,实例融合与掩码生成单元将基于不同查询文本得到的初始的建筑物实例进行融合的方式是:对每个像元位置的实例置信度进行加权求和,权重根据不同查询文本的有效性进行动态分配,其中,对于第个查询文本的权重,计算公式为:其中,为查询文本集合中查询文本的总数,为第个查询文本的历史准确率,为第个查询文本的历史准确率;
对于像元位置,为像元的横坐标,为像元的纵坐标,将基于查询文本得到的建筑物实例置信度进行加权求和,得到融合后的置信度,表达式为:融合后,得到建筑物实例集合,随后将建筑物实例集合中的建筑物实例合并为初始建筑物掩码,,为实数集合,和分别为的高度和宽度;
然后基于初始建筑物掩码得到初始建筑物分割伪标签,表达式为:其中,为初始建筑物掩码中像元位置对应的值,为初始建筑物分割伪标签中像元位置对应的值,为二值化阈值。
6.根据权利要求5所述的基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,伪标签筛选单元基于不确定量化进行筛选的过程为:计算初始建筑物掩码的像元级熵值,计算公式为:
其中,为像元位置对应的像元级熵值;
对于像元级熵值高于熵阈值的像元区域,将伪标签置信度下调或标记为待修正;
伪标签筛选单元基于交叉验证一致性进行筛选的过程为:
使用不同初始化的对齐提示编码器对同一遥感图像生成多组伪标签,计算像元级交并比,若目标区域多组伪标签的平均像元级交并比低于交并比阈值,则将该目标区域的伪标签从训练集中剔除,伪标签筛选单元基于几何约束过滤进行筛选的过程为:
基于遥感图像中建筑物的几何先验,剔除不符合预设形状特征的伪标签区域。
7.根据权利要求6所述的基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,模型迭代训练单元满足下式:;
其中,为遥感图像建筑物语义分割系统的总损失函数,为加权交叉熵损失函数,为对比学习损失函数,为平衡系数,为预训练数据集中的样本数量,为伪标签质量权重,为交叉熵函数,为真实标签。
8.根据权利要求7所述的基于视觉语言模型的遥感图像建筑物语义分割系统,其特征在于,动态参数调整单元采用阈值自适应更新进行动态参数调整的过程为:根据训练过程中系统在验证集上的精确率-召回率曲线,动态调整二值化阈值,当精确率上升而召回率下降时,降低;当精确率下降而召回率上升时,提高,以平衡分割精度与完整性;
动态参数调整单元采用查询文本权重再分配进行动态参数调整的过程中,的更新公式为:其中,为指数衰减因子。