欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025116673527
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于不确定性感知深度监督的稀疏视角室内重建方法,其特征在于,包括以下步骤:步骤1、获取多视角室内场景图像数据,为后续处理提供基础输入;

步骤2:基于步骤1中获得的图像数据,采用运动恢复结构方法恢复每幅图像的相机位姿;

步骤3:利用步骤2中恢复的相机位姿,构建不确定性感知神经辐射场模型,并引入预训练单目深度估计模型以提供深度先验;

步骤4:在体渲染框架中,渲染图像和深度,同时结合步骤3中得到的深度估计结果与不确定性建模,通过不确定性合成公式计算生成渲染图像的深度不确定性图;

步骤5:基于步骤4中生成的渲染图像与步骤1中的真实图像之间的差异,构建融合随机结构相似性的光度损失项;

步骤6:结合步骤4中得到的深度不确定性图和渲染深度图,设计不确定性感知的自适应深度优化损失项;

步骤7:通过渐进式不确定性学习策略,联合优化由步骤5和步骤6得到的总损失函数,训练神经辐射场与深度估计模型;

步骤6具体包括,

构建基于不确定性融合自适应深度优化损失模块,以双向增强神经辐射场NeRF与单目深度估计之间的协同学习;

构建基于不确定性融合的自适应深度优化损失模块,通过双向协同学习机制实现神经辐射场NeRF与单目深度估计MDE的相互增强;

基于不确定性融合的自适应深度优化损失模块包含三个关键子模块:子模块一:对已见视角的基于不确定性感知的单目深度正则化损失模块;

子模块二:对未见视角的融合不确定性感知的单目深度正则化损失模块;

子模块三:设计融合不确定性感知的单目深度自适应损失模块;

首先,通过建立神经辐射场NeRF的深度不确定性建模能力与单目深度估计MDE生成深度图之间的关联,子模块一和子模块二能够显式捕捉并量化单目深度估计MDE输出的几何歧义,从而提升模型对深度估计模糊性的表征能力;

其次,子模块三利用神经辐射场NeRF渲染过程生成的深度图及其对应不确定性图作为监督信号,设计基于不确定性感知的自适应优化机制,动态调节单目深度估计MDE模型的训练过程;

步骤6具体还包括,

子模块一包括引入了一种不确定性感知几何对齐损失函数,用于优化神经辐射场NeRF渲染深度图与单目估计深度图之间的一致性;具体而言,利用预训练的单目深度估计模型预测每一张输入的单目估计深度图;

在局部 patch 范围内通过最小二乘拟合获得缩放因子与偏移量,将其对齐为绝对深度以匹配NeRF渲染深度图;

进一步引入 NeRF 渲染过程中估计的像素级深度不确定性值,构建如下损失函数:其中: 表示stop-gradient操作,不传回梯度; 为自适应梯度屏蔽函数,高不确定区域的监督项梯度将被屏蔽;

子模块二包括从任意未见视角渲染出对应的 RGB 图像和深度图,并将输入预训练的单目深度估计器,获得伪深度图;

通过最小二乘法拟合获得缩放因子和偏移量;同时,结合从未见视角中渲染相应的不确定性图,设计不确定性感知的:;

子模块三包括引入利用已优化的NeRF模型所蕴含的场景几何先验反向引导 MDE 模型进行自适应训练,从而增强MDE对绝对深度结构的建模能力;

设计了一个双分支的深度一致性损失:第一项为无尺度调整的绝对深度对齐项,用于提升 MDE 对场景尺度的建模能力;第二项为基于 patch 的尺度对齐一致性项,并引入NeRF 渲染输出的像素级深度不确定性,以实现自适应权重调节;

对不确定性估计应用 stop-gradient操作,损失函数如下:其中,第一项为绝对深度对其项,表示在深度图上p像素的深度值,表示在深度图上p像素的深度值,表示stop-gradient操作,不传回梯度;第二项为融合不确定性感知尺度对齐一致性项,为渲染得到的像素级深度不确定性值;

通过最小二乘法拟合获得缩放因子和偏移量;

最后,将损失函数进行累加,得到了一次迭代深度不确定性的损失函数如下:其中,设置为0.01、0.02、0.01。

2.根据权利要求1所述的基于不确定性感知深度监督的稀疏视角室内重建方法,其特征在于,所述步骤3中不确定性感知神经辐射场模型的构建具体包括:步骤S3.1、神经辐射场模型输入构建;

神经辐射场模型的输入构建阶段以像素和光线为基础,将多视角图像数据与相机视角方向结合,生成三维空间中的采样点;

输入的多视角图像数据和对应的相机位姿输入到预处理模块中,生成对应光线的方向和输入得到射线的方向向量和起点;

然后,沿着每条光线进行采样,获得一系列采样点,其中,表示i条光线上第j个采样点,表示第j个采样点在光线上的不同深度位置;这些采样点后续将会作为神经网络的输入,用于后续颜色和体密度的估计;

步骤S3.2、构建深度不确定性感知的神经辐射场,引入不确定性感知模块,具体方法如下:在通过步骤S3.1获得采样点的位置和方向后,将这些采样点的位置信息和方向信息经过位置编码后,作为输入送入神经网络模型中,通过这个神经网络模型的训练,模型能够学习输出每个采样点的以下的三个属性:颜色表示该采样点的颜色信息,体密度表示该采样点的体密度,用于描述场景中的几何结构,对应的不确定性预测表示对该采样点深度信息的不确定性程度;

步骤S3.3、构建预训练的单目深度估计模型;使用MidasNet作为单目深度预测模型来构建预训练的深度估计模型。

3.根据权利要求2所述的一种基于不确定性感知深度监督的稀疏视角室内重建方法,其特征在于,步骤4具体包括,渲染每条光线上的RGB值、深度值、以及深度不确定性值;

在经典的体渲染基础上,除了常规的颜色和深度加权求和,使用了累计加权求和得到深度不确定性;深度不确定性反映了场景中的某些区域的深度信息存在模糊或不确定性;将这个不确定性预测值融入到最终的体渲染公式中,具体的合成公式如下:其中,表示权重,即第i个样本点对最终渲染颜色的贡献权重;,是累计投射率,是不透明度,其中,;

求出深度和深度不确定性的值如下:

。

4.根据权利要求3所述的一种基于不确定性感知深度监督的稀疏视角室内重建方法,其特征在于,步骤5具体包括,步骤S5,构造融合随机结构相似项S3IM的光度损失函数;将融合随机结构相似项S3IM损失和L2损失结合使用,具体的损失函数如下:其中,为

。

5.根据权利要求1所述的一种基于不确定性感知深度监督的稀疏视角室内重建方法,其特征在于,步骤7具体包括,在神经辐射场NeRF与单目深度估计MDE的协同训练中,直接引入不确定性建模会导致训练初期的不稳定,具体包括,在训练的前2000轮,仅使用神经辐射场NeRF的几何和外观网络,以及单目深度估计MDE模型的深度预测分支,此时,损失函数仅包含基础的渲染损失和深度对齐损失:其中,为NeRF的RGB渲染损失,具体为0.1,为深度损失,具体为:当模型初步收敛后,在训练的2000轮到10000轮之间过度阶段,逐步引入不确定性优化,逐渐引入不确定性损失,u(t)为控制和的权重,随训练轮次数增加而增加:最终,在训练后期即50%之后,完全启用不确定性优化,损失函数包含完整的不确定性感知项:。