1.一种全景动态场景NeRF重建与渲染方法,其特征在于,包括以下步骤:步骤S1,获取全景视角下包含场景中全方位视角信息的多帧全景图像;
步骤S2,对每一帧全景图像进行预处理;
步骤S3,预处理后,将全景图像包含的场景分解为静态部分和动态部分,具体包括:对于场景中缓慢运动物体,采用光流算法分解动态部分,光流变化较小或无变化区域视为静态背景,由下式表示为:式中,voptical为像素的运动速度;(x,y)为像素位置;T为时间;ΔT为时间间隔;Δx表示像素水平方向偏移量;Δy表示像素竖直方向偏移量;I(·)表示图像像素;
对于场景中运动较快或复杂形状的物体,使用深度学习的图像分割算法分解动态部分,具体包括:设定阈值将静态背景与动态物体分离,其中,光流变化较小的区域被视为静态背景,光流显著变化的区域则被标记为动态物体,由下式表示为:其中,a为设定的阈值;||voptical||表示光流的幅度;Sscene表示场景的辐射场;Sstatic表示静态部分;Sdynamic表示动态部分;
步骤S4,对静态部分和动态部分分别建模,得到静态场和动态场;
步骤S5,将静态场和动态场叠加求和,再进行渲染,得到神经辐射场;
步骤S6,基于神经辐射场进行全景场景渲染与新视角合成,完成全景动态场景重建与渲染。
2.根据权利要求1所述的方法,其特征在于,步骤S1中,使用360°相机或全景图像捕获设备获取全景图像。
3.根据权利要求1所述的方法,其特征在于,步骤S2中,所述预处理具体包括:使用几何校正算法对全景图像进行修正,恢复全景图像的真实比例关系;
采用白平衡校正和直方图均衡化方法平衡全景图像的亮度和色彩分布,由下式表示为:Icapture(θ,φ,T)={I1(θ,φ),I2(θ,φ),...,In(θ,φ)};
Ipreprocess(θ,φ)=Calibrate(Distort(Icapture(θ,φ)));
式中,Icapture表示在时间T时刻捕获的全景图像集合;θ和φ为球面坐标角度;I1、I2、In表示时间T时刻捕获的全景图像;Calibrate表示白平衡校正和直方图均衡化方法;Distort表示几何校正函数;Ipreprocess表示预处理之后的图像。
4.根据权利要求3所述的方法,其特征在于,步骤S4中,使用NeRF方法对静态部分进行建模,得到NeRF模型,并通过优化以下损失函数对NeRF模型进行训练:式中,表示光度损失;Cpred是通过NeRF模型生成的图像颜色;Ctrue为真实图像的颜色;N是图像中的像素数;i表示模型生成的图像与真实图像。
5.根据权利要求4所述的方法,其特征在于,步骤S4中,使用HyperNeRF方法对动态部分进行建模,得到HyperNeRF模型,具体包括:设立基准超空间,从所有输入图像帧中学习切片的拓扑可能性,在任何给定的时间中,空间点的特征通过在基准超空间中选择正确的切片进行表示,解决复杂拓扑的问题;
在训练过程中,在不同图像帧之间寻找拓扑的切片水平集,学习生成基准超空间,使用空间位置坐标和切片特征生成输入,查询对应输出,由下式表示为:F:(x,w,d,ψi)→(c,σ);
式中,W表示基准超空间的维度数量,w代表切片特征向量,c代表空间中点的颜色,σ表示空间中点的密度;ψi表示隐式外观编码;表示典范超空间;d表示观察方向。
6.根据权利要求5所述的方法,其特征在于,步骤S5中,静态场和动态场叠加求和,由下式表示为:MLP=MLPS+MLPD;
式中,MLP为叠加求和后的神经辐射场;MLPS为静态场;MLPD为动态场。
7.根据权利要求6所述的方法,其特征在于,步骤S6中,全景场景渲染,具体包括:采用Tri-MipRF圆锥投影方式对全景场进行渲染,具体包括:在射线上的采样点上使用一个以视场角大小为参数的球体进行采样;
对于采样点的渲染,采样射线参数为投影公式的反函数采样中心点方程和采样点上的球体半径方程为:x=o+tdθ;
其中,dθ为方向角为θ的方向单位向量;f为相机焦距;为像素盘半径;G(θ)为自变量为θ的函数;rd表示像素点与像素盘中心的距离;O表示相机光心;
基于透射率的概念,空间中某点被终止透射的可能性为一束光线观察到的像素颜色是空间中各点坐标概率权重的积分;因此,结合获得的采样点,计算出每个像素点的颜色,获得渲染结果,由下式表示为:式中,tn表示空间中的近平面;tf表示空间中的远平面;为透射率;s表示与o点的距离;r(t)表示射线沿着方向d经过距离t;σ(s)表示空间中点的密度;c(r(t),d)表示射线沿着方向d经过距离t处粒子的颜色。