欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024115083265
申请人: 长春师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-31
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种利用噪声图像实现新视图合成的方法,其特征在于所述方法包括如下步骤:步骤(1)利用colmap方法从多视角的噪声图像中得到初始位姿并初始化3D高斯椭球体;

步骤(2)利用预训练的盲图像去噪网络从输入的噪声图像中获取高质量图像并提取初始的噪声分布,具体步骤如下:将噪声图像输入到一个预训练的盲图像去噪网络中进行去噪处理,得到去噪后的高质量图像,然后将原始的噪声图像与其相减,得到初始的噪声分布:步骤(3)利用基于U-Net的噪声提取网络从原始噪声图像中进一步提取精细的噪声分布:步骤(4)将步骤(1)生成的3D高斯椭球体从场景中渲染得到预测的图像,设计网络联合图像、视角与位置信息,学习每像素的噪声掩码,利用噪声掩码将提取的噪声分布加权,模拟真实噪声;

步骤(5)利用模拟的噪声分布与3D高斯椭球体渲染的图像结合,预测噪声图像;

步骤(6)将预测的噪声图像与输入的原始噪声图像建立颜色损失,联合结构相似性损失、掩码损失约束整个重建过程,优化特征提取网络和3D高斯椭球体的属性。

2.根据权利要求1所述的利用噪声图像实现新视图合成的方法,其特征在于所述步骤(4)的具体步骤如下:步骤(41)空间中每个高斯椭球体的3D高斯分布由以下公式表示:其中,Σ是协方差矩阵,表示高斯分布的形状和方向,μ是均值,表示高斯分布的中心位置;

步骤(42)将表示椭球体的3D高斯分布投影到2D高斯分布,投影后的协方差矩阵Σ′由下式给出:其中,是视图变换矩阵,J是仿射变换的雅可比矩阵;高斯椭球体在2D空间中的位置由步骤(1)初始化的位姿进行投影得到;

步骤(43)在渲染过程中,使用快速的GPU排序算法和基于tile的光栅化技术渲染图像;

步骤(44)设计残差网络和多层感知机相结合的网络,该网络通过学习逐像素的掩码控制步骤(2)和步骤(3)提取的噪声分布的权重,以适应不同视图及视图内部像素间噪声的异质性。

3.根据权利要求2所述的利用噪声图像实现新视图合成的方法,其特征在于所述步骤(43)的具体方法如下:二维图像空间中每个tile被视为一个单元,对其基于深度进行排序并使用α-混合的方式进行渲染,经过渲染得到任意视角下的图像中每个像素的颜色:其中,表示与该像素重叠的所有高斯分布集合,是2D高斯分布的颜色,是密度。

4.根据权利要求2所述的利用噪声图像实现新视图合成的方法,其特征在于所述步骤(44)的具体步骤如下:首先,利用卷积神经网络从步骤(43)渲染的图像中提取RGB特征;

然后,将提取的RGB特征与可学习的视角嵌入和位置嵌入作为特征输入网络,其中为视图索引,为像素坐标最后,通过sigmoid函数,将学习到的掩码特征映射到0和1之间,得到最终的掩码,公式如下:。

5.根据权利要求1所述的利用噪声图像实现新视图合成的方法,其特征在于所述步骤(5)的具体步骤如下:步骤(51)利用步骤(4)学习到的掩码,将步骤(2)和步骤(3)中提取的噪声进行融合:步骤(52)将融合后的噪声与3D高斯渲染得到的图像相加,得到预测的带噪声图像:。

6.根据权利要求1所述的利用噪声图像实现新视图合成的方法,其特征在于所述颜色损失定义如下:预训练的重建损失定义如下:

掩码损失定义如下:

综合损失函数定义如下:

其中,和为超参数。