1.沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,包括:
获取多模态动态状态数据,所述多模态动态状态数据包括通过惯性测量单元获取的头戴显示设备的三维角速度与三维线加速度数据,以及通过集成式眼球追踪系统获取的用户实时注视点方向矢量与瞳孔直径数据;
基于所述多模态动态状态数据,构建前瞻性注视点与头部姿态预测模型,并解算出下一渲染帧的目标预测头部姿态与目标预测注视点位置;
基于三维场景的几何与纹理信息,生成一幅二维场景视觉显著性图,所述视觉显著性图表征了场景中各区域吸引用户视觉注意力的先验概率分布;
融合所述目标预测注视点位置与所述二维场景视觉显著性图,生成预测性焦点场,所述预测性焦点场是在屏幕空间上的二维概率分布图,其峰值区域对应于用户在下一渲染帧最可能关注的视觉区域;
根据所述目标预测头部姿态对应的角速度矢量,合成一张各向异性时空分辨率图,所述各向异性时空分辨率图的局部像素分辨率与所述预测性焦点场的概率值成正比,且分辨率的各向异性程度与所述角速度矢量的大小和方向相关联;
将所述各向异性时空分辨率图转换为图形处理单元的变速率着色指令图,并驱动图形渲染管线,对所述三维场景进行非均匀分辨率渲染,生成一帧渲染图像;
在将所述渲染图像提交至显示面板之前,获取最新的头部姿态数据,计算其与所述目标预测头部姿态的姿态误差,当所述姿态误差小于预设误差阈值时,判定预测准确,执行基于三维空间变换的异步时间扭曲重投影;当所述姿态误差大于或等于预设误差阈值时,判定发生预测失效事件,此时放弃执行重投影操作;并对整个渲染图像施加中心对称的径向模糊滤镜。
2.根据权利要求1所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述获取多模态动态状态数据具体包括:通过集成在头戴显示设备上的六轴惯性测量单元,以不低于1000赫兹的采样频率,获取头戴显示设备的实时角速度矢量与线加速度矢量;
通过设置在头戴显示设备内部、面向用户眼部的两个红外光源与两个高速图像传感器,以不低于120赫兹的采样频率,捕获用户双眼的红外反射图像,并通过图像处理算法实时解算出用户在三维空间中的注视方向矢量、会聚点深度以及瞳孔直径。
3.根据权利要求2所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述构建前瞻性注视点与头部姿态预测模型具体包括:采用扩展卡尔曼滤波器作为所述预测模型,所述扩展卡尔曼滤波器的状态向量包括头部姿态四元数、头部角速度矢量、头部角加速度矢量、双目融合注视矢量、注视矢量角速度以及前庭-眼动反射增益系数;
所述扩展卡尔曼滤波器的过程模型基于刚体运动学方程,对头部姿态、角速度与角加速度进行积分预测,所述注视矢量的更新融合了前庭-眼动反射的补偿运动与扫视运动的预测模型;
所述扩展卡尔曼滤波器使用来自惯性测量单元的角速度数据与来自眼球追踪系统的注视方向矢量数据,对预测的状态向量进行修正,从而输出经过滤波与预测的、用于下一渲染帧的目标头部姿态与目标预测注视点位置。
4.根据权利要求3所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述生成预测性焦点场具体包括:将所述目标预测注视点位置作为第一高斯分布的中心,该高斯分布的标准差为预设的、与人眼中央凹视场范围相匹配的固定值;
将所述二维场景视觉显著性图视为非参数化的概率密度函数;
对所述第一高斯分布与所述二维场景视觉显著性图进行加权线性叠加,生成所述预测性焦点场,所述加权线性叠加中权重系数是动态调整的。
5.根据权利要求4所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述合成一张各向异性时空分辨率图具体包括:初始化一张与屏幕分辨率相同的基准分辨率图,图中每个像素的初始分辨率值正比于所述预测性焦点场在该像素位置的概率幅值;
将所述目标预测头部姿态对应的三维角速度矢量,通过投影变换,转换为屏幕空间上的二维运动矢量场;
对于基准分辨率图中的每一个像素,计算其在该二维运动矢量场中的局部运动矢量;
定义分辨率压缩函数,该函数输入为局部运动矢量的大小,沿着与局部运动矢量相垂直的方向,使用该函数计算出的压缩系数对该像素的基准分辨率进行压缩,而沿着与局部运动矢量平行的方向,则保持基准分辨率不变或仅施加压缩系数不低于0.8的压缩;
最终输出的各向异性时空分辨率图,其每个像素位置存储二维分辨率缩放因子,分别对应水平与垂直方向的着色率。
6.根据权利要求5所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述将所述各向异性时空分辨率图转换为图形处理单元的变速率着色指令图具体包括:将屏幕空间划分为固定大小的像素瓦片,所述像素瓦片尺寸与图形处理单元支持的变速率着色区块尺寸相匹配;
对于每一个像素瓦片,计算其所覆盖的所述各向异性时空分辨率图区域内的平均二维分辨率缩放因子;
将计算出的平均二维分辨率缩放因子量化为图形处理单元硬件所支持的离散着色率等级;
生成一张与瓦片网格对应的二维数组,即变速率着色指令图,数组中每个元素存储了对应瓦片的量化着色率等级,并将此指令图提交给图形驱动程序。
7.根据权利要求6所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述姿态误差为表示所述目标预测头部姿态与实际头部姿态之间差异的旋转角;
所述预设误差阈值被设定为通过实验标定得到的、低于人眼可感知的图像抖动角度值。
8.根据权利要求1所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述二维场景视觉显著性图通过轻量级卷积神经网络模型对当前虚拟场景的可见物体的几何顶点、表面法线、材质属性及纹理贴图信息进行前向推理生成,输出与屏幕分辨率对齐的二维显著性热力图。
9.根据权利要求3所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,所述扫视运动预测模型在检测到头部角加速度超过预设触发阈值时,激活朝向预测性焦点场中高概率区域的眼跳轨迹模型,该模型输出一段符合人眼扫视动力学特性的注视矢量变化曲线;其中,所述高概率区域是指预测性焦点场中满足以下条件的屏幕空间区域:区域内所有像素的概率幅值≥预设概率阈值,所述预设概率阈值为预测性焦点场中所有像素概率幅值的75分位数;
所述预设概率阈值需通过实验标定,且不低于预测性焦点场峰值概率幅值的50%;
该区域为连续像素集合,其边界由概率幅值等于所述预设概率阈值的像素构成闭合轮廓,且区域面积不小于屏幕总像素数的5%。
10.根据权利要求4所述的沉浸式虚拟现实场景的实时渲染与交互方法,其特征在于,当头部角速度低于预设低速阈值时,提高所述二维场景视觉显著性图的权重;当头部角速度高于预设高速阈值时,提高所述第一高斯分布的权重;在低速与高速阈值之间,权重系数按线性插值平滑过渡。