欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107922432
申请人: 桂林电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于路径聚合深度学习的多视角立体三维重建方法,其特征在于,所述多视角立体三维重建方法包括以下步骤:步骤1:设所求深度图视图为参考图像并选取n张源图像,确定对应的相机内外参数。

步骤2:将参考图像和若干源图像分别经过同一路径聚合特征提取网络,以获得各个图像的多次度特征图。

所述特征提取网络由两个自底向上、一个自顶向下的卷积神经网络,以及三个可变形卷积层,三个卷积块注意力模块构成。输入图像先经过一个自底向上的结构,该结构分别由三个残差卷积块构成;再经过一个自顶向下的结构,该结构由三个残差块构成,与前一个自底向上结构通过卷积核为1x1的卷积神经网络作为横向连接进行高级特征与低级特征融合;后续跟进最后一个自底向上的网络结构,体现路径聚合作用,三个层次的由底到高分别命名为P1、P2、P3。P1直接由前一个自顶向下的路径最后一层得到,先有P1经过两个步长为2和1残差块,并将其得到的特征图加上之前自顶向下路径中同层特征图实现横向链接,再经过一个步长为1的残差块得到P2。P3同理。由此得到三个不同尺度的特征图,并将其分别通过不同的可变形卷积块和卷积块注意力模块提取最终的多尺度特征图。

步骤3:根据基于特征图的单应性变换算法,由参考图像和源图像的特征图分别得到n组特征体。将特征体基于方差的方法构建代价体。

步骤4:将构建得到的代价体,经过3D‑UNet网络结构进行代价体正则化得到概率体。对概率体沿第一维做softmax运算,并进行期望运算,得到最终参考图像的深度图,并对深度图通过细化网络进行细化。

步骤5:对所有多视角图像重复步骤1‑4,求得每张图像的深度图,并经过深度图融合得到三维模型的点云表达,实现对目标场景的三维重建。

2.根据权利要求1所述的基于路径聚合深度学习的多视角立体三维重建方法,其特征在于,由步骤1得到的特征图为三个尺度下的多尺度特征图,步骤3‑4在三个尺度下分别进行,以此实现由粗到细的级联代价体构建。对于级联结构的代价体构建方式,具体如下:预先设定各个阶段的深度采样平面数为48,32,8。对于第一阶段,深度采样平面选取为在给定深度范围下,48个深度平面均匀采样。在第一阶段深度预测结束后,在第一阶段深度预测基础上,进行上下16个深度平面采样,满足32个采样平面;在第二阶段深度预测结束后,第三阶段的深度采样平面确定同第二阶段,在第二阶段深度预测值基础上,上下采样4个深度平面,满足8个深度采样平面。

采样级联式的代价体构建,在第一阶段预测深度图分辨率为输入视图的1/4,第二阶段为1/2,在第三阶段分辨率与参考视图相同。且每次都进行代价体回归的深度假设平面数较小,大大减少了在代价体正则化阶段的内存占用,使本发明可用于高分辨率视图三维重建。

3.根据权利要求1所述的基于路径聚合深度学习的多视角立体三维重建方法,其特征在于,所述步骤3中的对特征图的单应变换,是根据输入参考图像、源图像对应的相机内外参数,以及预设的深度间隔进行,公式如下:其中Ki,Ri,ti,分别是第i个视图的相机内参、旋转和平移,I为单位矩阵,i等于0时指代参考视图,n1代表参考相机的主轴。而将其应用于本网络的级联结构,则第k+1阶段的单应变换公式:代表在第k阶段,第m个像素点的预测深度。 表示第k+1阶段要学习的第m个像素的残余视差。

4.根据权利要求1所述的基于路径聚合深度学习的多视角立体三维重建方法,其特征在于,对于所述步骤3对特征图的单应变换,具体为:步骤4.1:预设每一阶段深度采样数为48、32、8。

步骤4.2:根据公式(2)求参考视图和每一张源视图的单应矩阵H。

步骤4.3:将由权利要求1步骤2所得源视图特征图Fi(i=1,…,n)借助步骤4.2得到的单应矩阵,通过单应变换,投影到预设的每一个深度平面得到视角转换特征体F′i。

Fi′=Hi(d)Fi      (3)

步骤4.4:将若干特征体F′i聚合成一个代价体,通过如下基于方差的公式,其中 表示特征体的平均值:步骤4.5:在级联结构的三个阶段分别执行步骤4.1‑步骤4.2。

5.根据权利要求1所述的基于路径聚合深度学习的多视角立体三维重建方法,其特征在于,对于所述步骤4中代价体正则化模块具体如下:对于级联结构的三个阶段,其代价体正则化模块不共享,彼此独立。每一个代价体正则化模块都为一个3D‑Unet结构,具体来说:输入代价体,首先依次经过conv0,conv1,conv2,conv3,conv4,conv5,conv6分别为3D卷积模块,每个模块中包含一个3D卷积层和批量归一化层、Relu层。再将conv6层的输出经过conv7;conv7的输出与conv4的输出相加输入到conv8;conv8的输出与conv2的输出相加输入到conv9,conv9的输出与conv0的输出相加,再经过一层outlay即得到最终的概率体P。

其中conv7,conv8,conv9为3d反卷积模块,其中包含一个反卷积层和批量归一化层、Relu层。

6.根据权利要求1所述的基于路径聚合深度学习的多视角立体三维重建方法,其特征在于,对于其中所述步骤4中的深度图细化网络,具体为:首先将输入图像和深度信息沿着通道维度进行拼接,然后,将拼接后的结果传递给一系列的卷积层RefineNet_conv1、RefineNet_conv2和RefineNet_conv3进行特征提取和学习。接下来,通过RefineNet_res进行深度残差预测,得到一个表示深度改进的残差图。最后,将初始深度估计与残差图相加,得到最终的深度估计结果depth_refined,并将其返回,以得到更精确的深度估计结果。