1.一种改进型双目立体匹配融合方法,其特征在于,包括以下步骤:S1:输入图像预处理;
S2:多尺度深度特征提取,采用卷积神经网络进行特征增强;
S3:基于融合后的多尺度特征,设计改进匹配代价函数;
构建亮度差异匹配代价计算公式,所述亮度差异匹配代价计算公式如下:其中,表示在像素(x,y)处的亮度差异匹配代价,衡量左图和右图在不同视差假设d下的亮度差异;和表示左图和右图的像素值,分别位于(x,y)和(x-d,y)处,视差d表示左右图像之间的位移;用于归一化的多尺度参数,不同尺度下的匹配代价会归一化到相同范围;p用于控制亮度差异的影响程度;
根据亮度差异匹配代价计算公式的输出结果设定亮度差异匹配代价阈值为;
当>时,表示亮度差异过大,该视差d对应的像素点匹配不准确;
当≤时,表示亮度差异小,该视差d对应的像素点匹配准确;
根据设定的阈值对亮度差异匹配代价计算公式的输出结果过滤,选取亮度差异小的亮度差异匹配代价作为输入结果构建多尺度特征融合公式,且多尺度特征融合公式如下:其中,表示在像素(x,y)处的多尺度特征融合代价;和表示左右图像在不同尺度s下提取的特征值;为尺度权重系数,不同尺度下的特征有不同的影响权重;S为多尺度的总数;
根据多尺度特征融合公式输出结果设定多尺度特征融合代价阈值;
当>时,表示特征差异大,匹配不准确;
当≤时,表示特征差异小,匹配准确;
S4:对计算出的匹配代价进行聚合和优化,根据优化后的匹配结果生成视差图;
根据设定的多尺度特征融合代价阈值对多尺度特征融合公式输出结果进行过滤,选取多尺度特征差异小的多尺度特征融合代价作为输入结果构建平滑约束与梯度惩罚公式,且平滑约束与梯度惩罚公式如下:其中,表示平滑约束与梯度惩罚后的匹配代价;表示特征图在x和y方向上的二阶偏导数,控制视差图的平滑性;表示平滑控制参数;为梯度惩罚项的系数,用于控制深度特征的梯度对匹配代价的影响;表示特征梯度的惩罚项,为学习率;
S5:引入自适应学习机制,通过实时反馈对深度学习模型和多尺度特征融合参数进行微调,输出高精度视差图;
根据平滑约束与梯度惩罚公式的输出结果构建自适应学习与最终匹配代价聚合公式,且自适应学习与最终匹配代价聚合公式如下:其中,表示像素(x,y)处的最终视差值;为自适应学习控制参数,决定历史数据对当前匹配结果的影响;通过自适应学习机制对过去的匹配代价进行加权处理,其中T为时间步数,和分别是历史代价的均值和标准差,t为时刻。
2.根据权利要求1所述的一种改进型双目立体匹配融合方法,其特征在于:在平滑约束与梯度惩罚公式的输出结果中设定平滑约束与梯度惩罚后的匹配代价阈值;
当>,表示该点匹配代价高且不平滑,存在噪声和误匹配,需要调整视差;
当≤,表示该点匹配代价低且平滑,无需调整视差。
3.根据权利要求1所述的一种改进型双目立体匹配融合方法,其特征在于:在自适应学习与最终匹配代价聚合公式的输出结果中设定最终视差阈值为;
当<,则该像素点的匹配结果准确;
当≥,则该像素点的匹配结果不准确,需要调整匹配代价或重新评估视差。
4.根据权利要求1所述的一种改进型双目立体匹配融合方法,其特征在于:在所述S3中,对不同尺度下提取的深度特征进行融合,使用加权平均或自适应加权方法,生成统一的多尺度特征图。