1.一种基于交叉通道注意力机制特征融合的三维场景重建方法,其特征在于,包括如下步骤:S1、收集多张畸变校正与立体校正后待立体视觉三维重建的双目立体视觉图像,并构建训练集;
S2、构建三维场景重建网络,三维场景重建网络包括依次连接的基于交叉通道注意力机制的特征提取网络、多尺度混合匹配代价构建模块、匹配代价聚合网络以及多阶段视差回归预测模块;
S3、从训练集中选取一张双目立体视觉图像输入到三维场景重建网络中,得到每个不同阶段匹配代价的预测视差;
S4、构建损失函数,计算每个不同阶段匹配代价的预测视差与真实视差之间的损失,并循环S3至S4,直至损失函数收敛;然后使用反向传播算法对三维场景重建网络的权重进行更新,得到训练后的三维场景重建网络;
S5、对训练后的三维场景重建网络进行测试,得到双目立体视觉三维重建场景的三维深度信息;
所述S3具体包括如下步骤:
S31、从训练集中选取一张双目立体视觉图像输入到特征提取网络中,得到最终左图像全局特征和最终右图像全局特征;
S32、将最终左图像全局特征和最终右图像全局特征输入到多尺度混合匹配代价构建模块中,获取左右图像间的相似性,输出包含相似性度量的匹配代价体向量;
S33、将匹配代价体向量输入到嵌入多阶段上下文特征融合模块的代价聚合网络模块,进行匹配代价特征聚合,得到多个阶段不同的卷积后的匹配代价特征;
S34、将多个阶段不同的卷积后的匹配代价特征输入到多阶段视差回归预测模块中,得到每个不同阶段匹配代价的预测视差。
2.根据权利要求1所述的三维场景重建方法,其特征在于,所述S31具体包括如下步骤:S311、从训练集中选取一张双目立体视觉图像,分别记为左图像XL和右图像XR,然后将左图像XL和右图像XR分别输入到图像补丁嵌入层中,分别输出左图像补丁嵌入特征和右图像补丁嵌入特征;
S312、然后将左图像补丁嵌入特征和右图像补丁嵌入特征分别输入到嵌入多阶段上下文特征融合模块的多阶段级联视觉变压器特征提取模块中,以实现多阶段上下文全局多路径特征融合,得到最终左图像全局特征和最终右图像全局特征。
3.根据权利要求2所述的三维场景重建方法,其特征在于,所述S312中的多阶段级联视觉变压器特征提取模块由多个视觉变压器组成;每个视觉变压器均包括依次连接的一层基于交叉协方差的注意力层、一层本地局部补丁交互层和一层MLP特征提取层;
在一层基于交叉协方差的注意力层内,输入特征为首先经过三层并行线性特征提取层提取特征,采用公式表示,具体如下:;
;
;
其中,为线性特征提取层;为特征归一化函数;、和均为视觉变压器自我注意力机制的中间值,表示三个不同的特征矩阵;
然后构建注意力特征,并与三层并行线性特征提取层的输出结合,得到一层基于交叉协方差的注意力层的输出Y;注意力特征和输出Y具体如下:;
;
其中,函数为随机失活层,用于降低模型过拟合的风险,增强模型的泛化性能;表示矩阵相乘操作;表示归一化指数函数;
一层本地局部补丁交互层包括级联的两层可分离卷积层,每层可分离卷积层都级联归一化层BN和激活函数层GeLU;实现本地局部补丁之间边界特征的交互,同时增强所执行交叉协方差注意力层的局部补丁块之间的对角线散射注意力隐式通信;
一层MLP特征提取层包括级联的两层线性特征提取层,每层线性特征提取层后都级联一层激活函数层GeLU、Dropout函数和神经网络归一化层LayerNorm,以实现基于MLP的视觉变压器特征提取,从而得到左图像变压器特征或右图像变压器特征。
4.根据权利要求3所述的三维场景重建方法,其特征在于,所述S32具体包括如下步骤:S321、首先构建分组相关匹配代价向量;
;
其中,和是最终左图像全局特征和最终右图像全局特征在特征通道维度分别平均分成组得到的特征,,每一组特征的通道数为,函数表示相应的特征值相乘;表示第视差平面,,i表示尺度;D表示视差维度;表示当前左图像、右图像需进行特征值相乘时所处的特征通道数;b表示批次的特征维度;
S322、构建基于拼接相关的匹配代价向量;
;
其中,和是最终左图像全局特征和最终右图像全局特征在特征通道维度分别平均分成组得到的特征,,每一组特征的通道数为;表示连接函数;
S323、然后对S321和S322构建的匹配代价向量进行拼接融合,得到包含相似性度量的匹配代价体向量,采用公式表示具体如下:。
5.根据权利要求4所述的三维场景重建方法,其特征在于,所述S33具体包括如下步骤:S331、首先利用两层三维卷积层对输入的匹配代价体向量进行三维卷积特征聚合,得到更新后的匹配代价特征;
;
S332、定义阶段数;
S333、利用两层三维卷积层对更新后的匹配代价特征或者输入特征进行特征聚合,得到卷积后的第一匹配代价特征:;
S334、同样利用两层三维卷积层对更新后的匹配代价特征进行特征聚合,得到卷积后的第二匹配代价特征;
;
S335、利用两层反三维卷积层和两个跳跃连接的三维卷积层,并经交叉通道注意力机制模型,对S333和S334得到的匹配代价特征进行特征聚合,得到卷积后的第四匹配代价特征,过程如下:;
;
其中,表示第阶段中第三匹配代价特征;
S336、将阶段数,并将卷积后的匹配代价特征定义为输入特征,并循环S333至S335,直至阶段数等于总阶段数L;从而得到多个阶段不同的卷积后的匹配代价特征。
6.根据权利要求5所述的三维场景重建方法,其特征在于,所述S34的实现方式为:将多个阶段不同的卷积后的匹配代价特征分别输入到多阶段视差回归预测模块中,多阶段视差回归预测模块由多个视差回归与预测模块组成,多个不同阶段的卷积后的匹配代价特征分别输送到对应不同的视差回归与预测模块内,从而得到每个不同阶段匹配代价的预测视差。
7.根据权利要求6所述的三维场景重建方法,其特征在于,所述S34中每个不同阶段匹配代价的预测视差内的第阶段匹配代价的预测视差计算过程具体如下:S341、首先将卷积后的第四匹配代价特征输入到两层三维卷积层中,得到匹配代价;
S342、然后利用上采样层对匹配代价进行采样得到上采样特征;
S343、最后利用函数对上采样特征的视差维度进行归一化处理,再对归一化后的上采样特征进行线性回归,得到第阶段匹配代价的预测视差。
8.根据权利要求7所述的三维场景重建方法,其特征在于,所述S4中的损失函数具体为:;
其中,2为损失函数,为预测输出的预测视差所对应的第个阶段视差估计结果的训练权重;为真实视差;平滑损失函数定义如下:;
其中,为表示图像中像素所对应的预测结果值。
9.根据权利要求8所述的三维场景重建方法,其特征在于,所述S5的实现方式为:首先根据已知双目相机的内参基线以及焦距,获取矫正后的双目立体图像与,然后输入到训练后的三维场景重建网络中,输出预测视差,然后根据视差与深度之间的关系,得到双目立体视觉三维重建场景的三维深度信息,视差与深度之间的关系具体如下:。