欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025118983335
申请人: 江西农业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种遥感影像的Mamba提示学习语义分割方法,其特征在于,包括以下步骤:

步骤1:获取RGB遥感影像,对所述RGB遥感影像进行预处理,构建遥感影像数据集,并划分为训练集、验证集和测试集;

步骤2:构建由教师网络和学生网络组成的教师—学生网络;所述教师网络以RGB遥感影像与高程数据为双模态输入生成不同层级RGB图像特征和高程信息特征,并在所述教师网络的各层级中引入Mamba融合模块,RGB图像特征和高程信息特征经所述Mamba融合模块处理得到双模态教师特征;所述学生网络以RGB遥感影像为输入并得到各层级的学生特征,所述学生网络的主干网络在层级上与教师网络的层级一一对应;

步骤3:构建提示学习模块,所述每一层的学生特征经过Mamba模块与双模态教师特征进行拼接得到学生增强特征,每一层输出的学生增强特征作为学生网络的下一层的输入;所述提示学习模块实现状态知识迁移的过程如下式表示:;

;

其中,为学生增强特征,表示教师网络在第i层的双模态教师特征,ri表示学生网络的第i层的学生特征,为停止梯度算子,为Mamba上下文门控算子,为层归一化,为线性变换矩阵,为1×1线性投影矩阵,为Sigmoid函数,⊙表示逐元素乘,为教师网络第i层经解码后的输出,T为温度系数,为学生网络第i层经解码后的输出;步骤4:将教师网络最后一层输出的双模态教师特征经解码器处理后得到的预测图与学生网络最后一层输出的学生增强特征经解码器处理后得到的预测图进行元素相乘和拼接;并对拼接完成后的预测图与真实值之间构建联合损失函数进行损失计算,对所述学生网络及提示学习模块进行端到端的训练;

步骤5:调用已经训练完成的学生网络,对输入的RGB遥感影像进行语义分割,生成分割结果。

2.根据权利要求1所述的一种遥感影像的Mamba提示学习语义分割方法,其特征在于,所述遥感影像数据集由影像块和标签图组成,所述影像块由RGB遥感影像依次进行几何校正、辐射校正、配准处理、区域裁剪和场景筛选所得,所述标签图由RGB遥感影像根据预设地物类别对影像块进行像素级标注所得。

3.根据权利要求1所述的一种遥感影像的Mamba提示学习语义分割方法,其特征在于,所述Mamba融合模块包括Mamba模块和残差层;所述Mamba模块将输入特征分为两路,一路依次经线性层、C3S模块、二维选择性扫描模块、线性映射和层归一化模块处理得到融合上下文特征;另一路依次经线性层、非线性激活函数处理后与所述融合上下文特征逐元素相乘,得到Mamba上下文门控算子;所述RGB图像特征和高程信息特征通过所述Mamba模块处理后得到输出特征,所述残差层用于接收所述输出特征,并对所述输出特征进行加权叠加和残差融合,得到双模态教师特征。

4.根据权利要求1所述的一种遥感影像的Mamba提示学习语义分割方法,其特征在于,所述联合损失函数为交叉熵损失和温度蒸馏损失按照预设权重系数进行加权求和所得,最小化联合损失。

5.根据权利要求1所述的一种遥感影像的Mamba提示学习语义分割方法,其特征在于,训练阶段,冻结所述教师网络的参数,教师网络和学生网络同时前向传播,由教师网络输出的双模态教师特征对学生网络进行结构化引导;推理阶段,完全去除教师网络和高程数据,保留学生网络独立完成语义分割任务。

6.根据权利要求3所述的一种遥感影像的Mamba提示学习语义分割方法,其特征在于,所述二维选择性扫描沿水平方向正向、反向和垂直方向向上、向下四个方向对特征进行序列化扫描并获得对应方向上下文状态,再经通道级联、线性投影与层归一化得到融合上下文特征;所述C3S模块为对特征进行3×3卷积和激活函数运算。

7.一种遥感影像的Mamba提示学习语义分割系统,其特征在于,包括:

数据采集模块:采集传统村落区域的高分辨率RGB遥感影像及对应高程数据,执行几何校正、辐射校正及配准处理,输出标准化RGB遥感影像与高程数据;

特征提取模块:包含双模态教师特征提取子模块与单模态学生特征提取子模块;所述双模态教师特征提取子模块对RGB遥感影像与高程数据进行多尺度编码,输出双模态教师特征;所述学生特征提取子模块对RGB遥感影像进行编码,输出与双模态教师特征层级对应的学生特征;

Mamba融合模块:连接所述双模态教师特征提取子模块,对双模态教师特征执行四方向二维选择性扫描、门控特征变换及残差融合,输出融合双模态教师特征;

提示学习模块:连接所述Mamba融合模块与学生特征提取子模块,冻结教师网络参数后,生成提示向量并对学生特征执行仿射调制,完成跨模态知识迁移;所述提示学习模块实现状态知识迁移的过程如下式表示:;

;

其中,为学生增强特征,表示教师网络在第i层的双模态教师特征,ri表示学生网络的第i层的学生特征,为停止梯度算子,为Mamba上下文门控算子,为层归一化,为线性变换矩阵,为1×1线性投影矩阵,为Sigmoid函数,⊙表示逐元素乘,为教师网络第i层经解码后的输出,T为温度系数,为学生网络第i层经解码后的输出;训练与优化模块:连接所述提示学习模块,构建联合损失函数,对学生网络与提示学习模块参数进行端到端优化;

推理模块:连接所述学生特征提取子模块,加载训练完成的学生网络模型,仅以RGB遥感影像为输入特征执行前向推理,输出地物类别分割结果;

显示模块:连接所述推理模块,将分割结果与地理坐标叠加,生成彩色栅格图,支持图层开关、透明度调节及结果导出。

8.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,其特征在于,所述计算机可读指令被所述处理器执行时,使得所述处理器执行时实现权利要求1-6任意一项所述的遥感影像的Mamba提示学习语义分割方法。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-6任意一项所述的遥感影像的Mamba提示学习语义分割方法。