1.一种融合语义与空间先验的跨视域图像匹配方法,其特征在于,包括以下步骤:S1,基于知识蒸馏的跨视域图像语义信息挖掘方法得到语义先验特征;
S1-1,利用成对蒸馏损失获取局部一致语义先验特征;
S1-2,使用整体蒸馏损失获取全局结构语义先验特征;
S2,基于卫星图像引导的跨视域图像空间对齐方法得到空间先验特征;
S2-1,基于卫星图像中建筑轮廓信息进行偏移量估算;
S2-1-1,通过神经网络提取地面图像的空间结构特征,捕捉建筑高度信息,用以区分建筑的低层与高层区域;
S2-1-2,将参考卫星图像划分为规则网格,统计每个网格内建筑像素的占比,通过调整系数量化图像的结构密度;
S2-1-3,为适应不同高度区域的特征分布,引入门控机制与对数函数组合的非线性偏移策略,当小于预设阈值时,该区域被视为地面或建筑物低层,设定偏移量为零,保持原始几何不变;当大于阈值时,采用对数函数校准偏移增长,偏移量计算公式如下,(2.1)
其中,为设定的深度阈值,为对数函数的缩放因子;
S2-2,基于偏移量和偏移方向向量执行区域重投影调整,获取图像重投影后的特征点;
S2-2-1,设图像中心坐标为,像素点原始位置为 ,则其偏移方向向量被定义为,(2.2)
S2-2-2,根据计算的偏移量与偏移方向向量,特征点的重投影坐标为,(2.3)
从而获取图像重投影后的特征点;
S2-3,利用卷积网络在重投影后的特征点上进行特征提取,获取图像的空间先验特征;
S3,通过注意力机制融合语义先验特征和空间先验特征获取图像全局特征。
2.根据权利要求1所述融合语义与空间先验的跨视域图像匹配方法,其特征在于:所述步骤S1-1的具体步骤为:S1-1-1,采用蒸馏学习的网络框架,对教师网络与学生网络提取的特征分别进行平均池化,并将每个空间位置的特征压缩为固定维度的特征向量,形成处理后的特征图;
S1-1-2,在处理后的特征图中构建节点,利用节点间的特征相似性,将处理后的特征图转换为静态亲和图;
S1-1-3,通过静态亲和图计算第个节点与第个节点的特征相似性,公式如下,(1.1)
S1-1-4,利用上述公式(1.1)分别计算教师网络与学生网络下的第个节点与第个节点的特征相与,并根据公式(1.2)计算成对蒸馏损失,(1.2)
其中, 表示所有空间位置节点的集合;
S1-1-5,根据上步骤求得的成对蒸馏损失训练网络,获得局部一致语义先验特征。
3.根据权利要求1所述融合语义与空间先验的跨视域图像匹配方法,其特征在于:所述步骤S1-2的具体步骤为:S1-2-1,以RGB图像作为输入,使用学生网络生成预测的分割结果作为“伪样本”,使用教师网络生成的分割结果则作为“真实样本”;
S1-2-2,引入Wasserstein距离作为损失函数,度量“伪样本”与“真实样本”在嵌入空间中的分布差异,判断其语义结构的一致性,引导生成最优分割图,具体计算方法如式(1.3)所示,(1.3)
其中,为输入图像,与分别为教师网络和学生网络生成的分割图,为嵌入空间判别器的默认评分函数;
S1-2-3,将最优分割图与原始RGB图像在通道维度拼接后作为嵌入网络输入,该网络由五层卷积结构和两个自注意力模块组成,用于捕捉全局依赖与结构特征;
S1-2-4,网络通过全局池化层将高维嵌入特征映射为单一评分值,引导学生网络逐步逼近教师模型的全局语义分布,同时获得全局结构语义先验特征。
4.根据权利要求1所述融合语义与空间先验的跨视域图像匹配方法,其特征在于,所述步骤S3具体包括以下步骤:S3-1,自注意力层通过计算同类输入特征不同位置之间的自相似性,生成位置间的注意力权重;
S3-2,交叉注意力层用于计算不同种类特征之间的相关性,显式建模空间先验特征与语义先验特征的交互关系,使两类特征实现互补与对齐性;
S3-3,基于注意力机制融合获取图像全局特征网络结构,图像全局特征 具体计算公式如下:(3.1)
其中,和分别对应空间先验特征与语义先验特征;负责映射空间先验特征与语义先验特征到相同的子空间;和分别表示自注意力和交叉注意力操作;表示拼接操作;表示线性投影操作,用于将特征矩阵转换为全局描述符向量。