1.一种单目内窥镜下软组织的动态三维重建方法,其特征在于,包括:利用内窥镜RGB图像训练神经辐射场,得到手术中目标场景的神经深度先验;
将内窥镜RGB图像输入训练好的深度估计网络,输出得到每张RGB图像的深度预测图;
根据目标场景的神经深度先验和目标RGB图像的深度预测图,确定目标RGB图像中每个像素的置信度,得到深度置信度图;
构建神经辐射场空间,并向目标RGB图像发射光线,以恢复动态手术场景;
基于深度置信度图采用动态高斯采样,在每根光线上进行点采样;其中在置信度高的区域进行集中采样,在置信度低的区域进行均匀采样;
将光线上采样点的坐标结合时间戳,经过傅里叶编码输入至变形网络,以预测每根光线的采样点基于静态标准帧中光线采样点的位移,通过变形网络预测的位移结合标准帧中采样点的坐标,得到动态帧中所有光线采样点的坐标;
将所有光线采样点的坐标输入SDF网络,以完成采样点坐标与体密度的映射,得到采样点到目标表面的距离和SDF网络的梯度;
将采样点到目标表面的距离和SDF网络的梯度输入至球谐函数,得到每个采样点的RGB值;
将采样点沿光线渲染成像素颜色,并根据像素颜色与真实RGB颜色的光度差异优化变形网络、SDF网络和球谐函数,计算采样点的表面梯度与散度,通过Eikonal loss和DivLoss使得SDF网络收敛,以渲染得到正确的场景深度信息。
2.根据权利要求1所述的单目内窥镜下软组织的动态三维重建方法,其特征在于,所述根据目标场景的神经深度先验和目标RGB图像的深度预测图,确定目标RGB图像中每个像素的置信度,得到深度置信度图,包括:构建第i帧RGB图像中像素(u,v)的置信度权重函数:其中,σ(·)为置信度权重函数;为像素(u,v)的神经深度先验;为像素(u,v)的深度预测图;μ为第一截断阈值;δ为第二截断阈值。
3.根据权利要求1所述的单目内窥镜下软组织的动态三维重建方法,其特征在于,所述构建神经辐射场空间,并向目标RGB图像发射光线,以恢复动态手术场景,包括:构建基于二进制器械掩码重要性采样表达式:
其中,Ji为掩码重要性;Γ为缩放因子;Mi为第i帧RGB图像的二进制光线过滤掩模;表示逐像素乘法;T为RGB图像序列的总帧数;|·|F表示Frobenius范数;Mj为第j帧RGB图像的二进制光线过滤掩模。
4.根据权利要求2所述的单目内窥镜下软组织的动态三维重建方法,其特征在于,所述基于深度置信度图采用动态高斯采样,在每根光线上进行点采样,包括:将每条光线的采样点根据置信度权重函数表示为高斯脉冲g(u,v,s,i):其中,e为自然常数;τ为指数;s表示光线距离。
5.根据权利要求4所述的单目内窥镜下软组织的动态三维重建方法,其特征在于,所述将光线上采样点的坐标结合时间戳,经过傅里叶编码输入至变形网络,以预测每根光线的采样点基于静态标准帧中光线采样点的位移,通过变形网络预测的位移结合标准帧中采样点的坐标,得到动态帧中所有光线采样点的坐标,包括:给定空间点和时间点t,表示三个维度;训练变形网络Ψt,输出每个采样点的位移Δx,利用位置编码映射位置和时间信息,并将位置和时间信息输入到变形网络中得到:(x+Δx)=x+Ψt;
(x+Δx)为采样点变形后的坐标。
6.根据权利要求5所述的单目内窥镜下软组织的动态三维重建方法,其特征在于,所述将所有光线采样点的坐标输入SDF网络,以完成采样点坐标与体密度的映射,得到采样点到目标表面的距离和SDF网络的梯度,包括:构建采样点的信号距离函数的零水平集S表达式:
其中,表示信号距离函数;
将采样点变形后的坐标映射到s、f和n:
其中,表示一个维度;表示ω个维度;f表示物体表面的特征;n为SDF网络ξ(·)的梯度。
7.根据权利要求6所述的单目内窥镜下软组织的动态三维重建方法,其特征在于,所述将采样点到目标表面的距离和SDF网络的梯度输入至球谐函数,得到每个采样点的RGB值,包括:构建球谐函数表达式:
表示球谐函数;θ为球坐标系中的极角;φ为球坐标系中的方位角;L为自然数;m为0或1;π为圆周率;表示勒让德多项式;
构建采样点颜色表达式:
其中,c(·)表示采样点颜色;Sig表示sigmoid函数,用于获取归一化颜色;表示球谐系数;
根据以下公式计算每个像素的RGB值:
C(r)为每个像素的RGB值;near为光线最近点;far为光线最远点;w(s)为每个采样点的权值;c(D,k)表示每个采样点的颜色;ρ(·)表示与体积密度对应的不透明度函数;0≤u≤s;r(s)表示光线;γ为概率密度函数。
8.根据权利要求7所述的单目内窥镜下软组织的动态三维重建方法,其特征在于,所述将采样点沿光线渲染成像素颜色,并根据像素颜色与真实RGB颜色的光度差异优化变形网络、SDF网络和球谐函数,计算采样点的表面梯度与散度,通过Eikonal loss和Div Loss使得SDF网络收敛,以渲染得到正确的场景深度信息,包括:构建颜色损失表达式:
其中,Lcolor表示颜色损失;表示渲染颜色;
构建Eikonal损失表达式:
其中,Leikonal为Eikonal损失;表示点x处的梯度;||||2为2范数;
构建Div损失表达式:
其中,Ldiv为Div损失;T表示;H(·)表示海森矩阵;
根据以下公式计算整个模型的损失:
Ltotal=Lcolor+λ1Leikonal+λ2Ldiv;
其中,λ1为第一平衡超参数;λ2为第二平衡超参数。
9.一种计算机设备,其特征在于,包括处理器和存储器;其中,处理器执行存储器中保存的计算机程序时实现权利要求1-8任一项所述的单目内窥镜下软组织的动态三维重建方法的步骤。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序;计算机程序被处理器执行时实现权利要求1-8任一项所述的单目内窥镜下软组织的动态三维重建方法的步骤。