1.基于特征增强及多尺度代价融合的立体匹配方法,其特征在于,用于光学卫星立体影像的视差估计,包括以下步骤:获取一对相同尺寸的核线校正后的光学卫星的立体影像,进行特征提取,获取两幅影像的多尺度特征并进行特征增强;
将特征增强后的多尺度特征,按照设定视差范围进行代价体构建后进行融合和聚合处理,得到最高分辨率下的代价体;
将最高分辨率的代价体正则化,得到初始的视差图;
将初始的视差图、最高分辨率下的代价体、影像左视图的上下文信息输入到GRU中迭代更新,得到细化后的视差图,并依据上采样掩码将更新后的视差图上采样到全尺寸大小;
在执行特征增强时,将两幅图像的特征在相同尺度下拼接;使用Transformer的交叉注意力进行关联相同尺度下的拼接特征,得到增强后的特征;将拼接的增强特征分离,分别得到两幅影像的增强特征。
2.根据权利要求1所述基于特征增强及多尺度代价融合的立体匹配方法,其特征在于:在执行特征提取的过程中,通过卷积操作和下采样操作从一对图像中提取所述多尺度特征。
3.根据权利要求2所述基于特征增强及多尺度代价融合的立体匹配方法,其特征在于:在获取最高分辨率下的代价体的过程中,将两幅影像相同尺度的增强特征沿设定的视差范围做差构建多尺度代价体;将每个尺度的代价体使用3D卷积进行代价聚合;将聚合后的多尺度代价体,上采样或下采样到相同的尺度,按照通道注意力和空间注意力的方式进行融合;对融合后的代价体再进行聚合;得到最高分辨率下的代价体。
4.根据权利要求3所述基于特征增强及多尺度代价融合的立体匹配方法,其特征在于:在获取初始的视差图的过程中,将最高分辨率的代价体使用3D卷积进行正则化将代价体的通道数输出为1;使用Softmax函数对正则化后的代价体计算视差概率分布;将设置视差范围乘以概率分布得到初始的视差图。
5.根据权利要求4所述基于特征增强及多尺度代价融合的立体匹配方法,其特征在于:在获取细化后的视差图的过程中,通过GRU更新出视差残差和上下文信息的隐藏状态,将视差残差和初始的视差图像相加;继续更新,直到达到设定的更新次数;并输出更新后的视差图和上采样掩码。
6.基于特征增强及多尺度代价融合的立体匹配系统,其特征在于,用于光学卫星立体影像的视差估计,包括:特征提取与增强模块,用于获取一对相同尺寸的核线校正后的光学卫星的立体影像,进行特征提取,获取两幅影像的多尺度特征并进行特征增强;
融合与聚合模块,用于将特征增强后的多尺度特征,按照设定视差范围进行代价体构建后进行融合和聚合处理,得到最高分辨率下的代价体;
正则化模块,用于将最高分辨率的代价体正则化,得到初始的视差图;
立体匹配模块,用于将初始的视差图、最高分辨率下的代价体、影像左视图的上下文信息输入到GRU中迭代更新,得到细化后的视差图,并依据上采样掩码将更新后的视差图上采样到全尺寸大小;
在执行特征增强时,将两幅图像的特征在相同尺度下拼接;使用Transformer的交叉注意力进行关联相同尺度下的拼接特征,得到增强后的特征;将拼接的增强特征分离,分别得到两幅影像的增强特征。