欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024117478512
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于三维高斯泼溅的大型装配场景的动态实时渲染方法,其特征在于,所述方法包括以下步骤:S100:构建全场景感知平台,采集大型装配过程中的三维点云流数据与多视角彩色图像流数据;

S200:将多视角彩色图像数据与三维点云数据变换到世界坐标系下,将点云、图像像素与场景空间点进行对齐;

S300:将对齐后的三维点云流数据第一帧输入三维高斯泼溅模型进行渲染,定义对齐后的多视角彩色流图像第一帧以及三维高斯泼溅模型渲染结果之间的损失函数,对三维高斯泼溅模型进行反向传播以更新模型参数,完成三维高斯泼溅模型的初始化,获得三维高斯参数;S300包括:S310:对场景体素点云在的点做三维高斯球的初始化:首先对进行均匀降采样,得到,以中任意一点为中心初始化该点的三维高斯球,计算公式如(7)所下:(7)

其中,表示协方差矩阵,该协方差矩阵影响三维高斯球的大小与形状;

由于任意一个三维高斯球可由标准三维高斯球通过仿射变换获得,根据仿射变化的定义,可将写作公式(8):(8)

其中表示旋转,表示缩放;

由于三维高斯球需要投影到二维成像平面来影响渲染结果,根据体素点云对应的图像像素,以任意一点为中心的三维高斯球在任意相机坐标系下投影到成像平面后得到投影点与其对应的二维高斯球,因此相机坐标系下投影点如公式(9)所示,点对应的二维高斯球的协方差矩阵如公式(10)所示:(9)

(10)

其中表示世界坐标系到相机坐标系的变换,表示投影变换的雅可比矩阵,用做投影变换的仿射近似,特别的,直接对高斯球进行投影变换的结果不一定是高斯球,因此需要通过在点的位置使用雅可比矩阵进行仿射近似;

S320:采用球谐函数描述不同方向上的颜色信息,球谐函数的基函数的具体表达式如公式(11)(12)(13)(14)所示:(11)

(12)

(13)

(14)

其中表示球谐函数的阶数,,表示球坐标系的方位角,表示球坐标系的仰角;

任意方向上的颜色表示如公式(15)所示:

(15)

S330:定义装配场景中一条方向为像素到光学中心的光线,记光在上行进至点之前未被阻碍地概率为,光在点处碰撞粒子的概率密度为,光在点处发出的颜色为,因此可得该像素最终的颜色可沿光线进行积分,如公式(16)所示:(16)

通过微分方程求解可得,如公式(17)所示:

(17)

其中可由S310中公式(7)获得,可由S320中公式(15)获得,最终,根据可求得每个像素的颜色信息,即渲染结果;

S300中定义对齐后的多视角彩色流图像第一帧以及三维高斯泼溅模型渲染结果之间的损失函数,具体为:记12个不同视角的彩色相机在的时候采集的12张图像分别为,根据S330中公式(16)求得与12个相机对应视角的渲染结果,分别采用范数与结构相似度 SSIM构建损失函数,其中损失函数如公式(18)所示,损失函数如公式(19)所示:(18)

(19)

其中与分别为滑动窗口下与的均值,与分别为滑动窗口下与的方差,为滑动窗口下与的协方差,与分别为常数,其中,滑动窗口指每次计算均从图片上取一个尺寸为的窗口计算,以该窗口遍历整张图像;

最终可得总的损失函数如公式(20)所示:

(20)

根据损失函数对三维高斯泼溅模型进行反向传播,优化三维高斯参数;

S400:判断对齐后的三维点云流数据中的当前输入帧是否为关键帧,若当前输入帧为关键帧,将关键帧输入三维高斯泼溅模型进行渲染,通过损失函数对三维高斯泼溅模型进行反向传播以更新模型参数,若当前输入帧为非关键帧,则通过预设的时序状态空间模型设计预测器,并对预测器进行训练,与相邻帧信息对三维高斯参数进行预测,得到当前输入帧所对应的三维高斯参数;

S500:将S400得到的三维高斯参数与当前输入帧的点云进行渲染,最终实现大型装配场景的动态实时渲染。

2.根据权利要求1所述的方法,其特征在于,S100包括:S110:将四个非重复式扫描的激光雷达安装固定在天花板横梁上的四个角落,扫描方向朝向装配场景,将十二个彩色相机安装固定在天花板横梁上的四条边,且位于天花板的非重复式扫描激光雷达与彩色相机均保持静止;

S120:四个非重复式扫描的激光雷达采集四份装配场景的点云数据,十二个彩色相机采集十二份装配场景的图像数据,点云数据与图像数据将以数据流的形式传输到高性能计算单元进行处理。

3.根据权利要求2所述的方法,其特征在于,S200包括:S210:通过任意标注工具获得全场景感知平台的任意传感器到世界坐标系的坐标变换;

S220:根据时间戳对来自多个传感器的数据进行对齐,在世界坐标系下对装配场景的空间进行栅格化处理;

S230:将四个非重复式扫描激光雷达的数据的坐标系变换到世界坐标系下,得到时刻在世界坐标系下的场景体素点云,完成场景空间点与激光雷达点云的对齐;

S240:通过刚体变换与投影变换实现场景空间点与彩色图像像素的对齐,其中,刚体变换将场景空间点坐标转换到相机光学中心坐标系下,投影变化将相机光学中心坐标系下的场景空间点转换到像素平面的像素。

4.根据权利要求3所述的方法,其特征在于,S220中在世界坐标系下对装配场景的空间进行栅格化处理,具体为:定义装配场景为一个大小为的空间,定义体素的尺寸为,可得装配场景空间的分辨率,如公式(1)所示:(1)

S230具体为:

(2)

其中,表示来自第个激光雷达传感器的点云,表示空间点坐标,表示任意传感器到世界坐标系的坐标变换,表示第个传感器,表示包含旋转与平移的操作;空间点坐标应当满足以下公式(3)的条件:(3)

计算点的体素中心坐标,计算如公式(4)所示:(4)

其中符号表示向上取整,可得当前时刻四个非重复式扫描激光雷达数据的体素坐标并集集合,即表示时刻在世界坐标系下的场景体素点云;

S240具体为:

计算体素点云对应的图像像素,具体为:

(5)

(6)

其中,表示世界坐标系下的场景体素点云,其坐标值为,为像素坐标系的坐标值,表示第个传感器到世界坐标系的旋转,表示第个传感器到世界坐标系的平移,表示第个传感器的内参,该内参可通过任意方式标定得到或根据相机参数信息得到,与分别为相机在和方向上的焦距,与分别为成像平面与相机坐标系轴的交点在像素坐标系下的值;

最终得到场景空间点与图像像素的对应关系,实现场景空间点与像素的对齐。

5.根据权利要求4所述的方法,其特征在于,S400中判断当前输入帧是否为关键帧的方式如下:S410:通过对图像做二帧差分法判断场景的运动状态;其中,二帧差分法指对相邻帧的图像做差值后,根据差值的结果判断当前场景中是否存在运动目标;若当前场景处于静止状态,则三维高斯泼溅模型的参数保持不变;

S420:若装配场景正处于装配作业状态,则需要动态维护装配场景的三维高斯泼溅模型的参数,在固定计算资源下,记训练一帧装配场景下的三维高斯泼溅模型需要花费时间,激光雷达采集一帧数据花费的时间为,彩色相机采集一帧数据花费的时间为,则通过训练更新一次三维高斯泼溅的最小时间间隔为,满足公式(21)的条件:(21)

因此,若装配场景于时刻进入了作业状态,则动态场景下第个关键帧可认为位于时刻,同时与第个关键帧对应的点云与图像分别如公式(22)与公式(23)所示:(22)

(23)

其中符号表示向上取整,为第个关键帧对应的点云,第个关键帧对应的图像。

6.根据权利要求5所述的方法,其特征在于,S400中对三维高斯参数进行预测包括以下步骤:S430:对于关键帧可通过训练来更新装配场景空间点的三维高斯泼溅模型,而对处于时间范围内的装配场景,通过预设的时序状态空间模型对该时间范围内的三维高斯泼溅模型进行预测:记第个关键帧为,则时间范围内的帧集合为,其中表示在该时间范围内,传感器能采集到的最大帧数,因此在动态装配场景中的数据流可记为公式(24)中的集合:(24)

则数据流中对应的三维高斯泼溅模型参数可记为公式(25)中的集合:(25)

S440:根据集合,得到了关于三维高斯泼溅模型参数关于时间的序列,由于装配空间中运动是连续的,则认为数据流中第帧的三维高斯模型参数受前帧的参数影响,因此可得关系表达式如公式(26)所示:(26)

S450:根据S440中的公式(26),通过时序状态空间模型设计预测器,首先定义时序状态空间模型的表达式如公式(27)所示:(27)

其中、、为状态方程系数,指多层感知机,表示状态的隐函数;

S460:接着对预测器进行训练:根据S430所述方式构建装配场景下的数据流,该数据流涵盖装配任务的任意环节,根据数据流构建样本对,如公式(28)所示:(28)

其中,通过高斯泼溅模型的训练获得,为第j个三维高斯泼溅模型的样本对,对数据流中的所有数据输入高斯泼溅模型进行训练构建形式如的样本对,形成数据集,通过预测器预测得到,将预测得到的与真值计算关于余弦相似性的损失函数,如公式(29)所示:(29)

根据对预测器进行反向传播以更新预测器参数,最终完成预测器的训练,根据训练后的预测器对三维高斯参数进行预测。