1.一种基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,包括:获取包含多个视点的纹理视频和深度视频的沉浸式视频,提取每个视点的纹理视频和深度视频中的纹理视频块和深度视频块,基于纹理视频块和深度视频块提取纹理关键帧和深度关键帧;
构建沉浸式视频质量评价模型并训练,得到训练好的沉浸式视频质量评价模型;所述沉浸式视频质量评价模型包括纹理深度特征时空交互部分、纹理视频质量评价部分和深度视频质量评价部分;所述纹理深度特征时空交互部分包括纹理深度特征提取模块、多视点空间交互网络和多视点时间非局部网络;所述纹理视频质量评价部分包括纹理视频特征提取模块、通道注意力模块、门控循环单元和纹理视频质量回归模块,所述深度视频质量评价部分包括深度视频块特征提取模块和深度视频质量回归模块;
将纹理视频块、深度视频块、纹理关键帧和深度关键帧输入训练好的沉浸式视频质量评价模型;具体的,通过纹理深度特征提取模块对纹理关键帧和深度关键帧进行特征提取,获得多个视点的第一纹理特征和深度特征;将多个视点的第一纹理特征和深度特征输入多视点空间交互网络,获得多视点纹理深度融合特征,基于多视点纹理深度融合特征获取多视点空间融合特征;通过多视点时间非局部网络处理多视点空间融合特征,获得集成的多视点时空交互特征;通过纹理视频特征提取模块对纹理视频块进行特征提取,获得第二纹理特征;将第二纹理特征输入通道注意力模块,获得第三纹理特征;对第三纹理特征和多视点时空交互特征进行拼接,获得纹理融合特征;将纹理融合特征依次输入门控循环单元和纹理视频质量回归模块,获得纹理视频分数;通过深度视频块特征提取模块提取深度视频块特征,获得深度视频块特征;将深度视频块特征输入深度视频质量回归模块,获得深度视频分数;加权聚合纹理视频分数和深度视频分数,获得最终的沉浸式视频分数。
2.根据权利要求1所述的基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,提取每个视点的纹理视频和深度视频中的纹理视频块和深度视频块,基于纹理视频块和深度视频块提取纹理关键帧和深度关键帧,具体如下:对每个视点的纹理视频和深度视频进行分块,得到K个连续的纹理视频块和K个连续的深度视频块;
其中,;表示向下取整符;N表示每个视点的纹理视频或者深度视频的帧数;和分别表示第i个纹理视频帧和第i个深度视频帧;第j个纹理视频块的表达式为;第j个深度视频块的表达式为;表示纹理视频块或深度视频块包含的视频帧数;
提取纹理视频块和深度视频块的第一帧作为对应块的关键帧,获得纹理关键帧和深度关键帧。
3.根据权利要求1所述的基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,将多个视点的第一纹理特征和深度特征输入多视点空间交互网络,获得多视点纹理深度融合特征,计算公式如下:;
;
;
其中, ,表示第个视点深度特征;表示第个视点的第一纹理特征,;H、W和C表示特征的高度、宽度和通道数;表示特征拼接;表示通过多视点空间交互网络中的视差估计模块对输入特征进行处理;表示视差估计模块的输入特征;表示视差特征;表示第个视点的纹理深度融合特征;表示特征逐元素相乘。
4.根据权利要求3所述的基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,基于多视点纹理深度融合特征获取多视点空间融合特征,计算公式如下:;
;
;
;
;
;
其中,表示特征拼接后的多视点合成特征;表示特征拼接;表示空间全局平均池化;表示经过空间全局池化后的特征;表示全连接层;表示降维特征;表示不同视点纹理特征的通道注意力向量;表示第二通道注意力向量;表示多视点空间融合特征;表示卷积操作;e表示指数计算;表示第1至N个视点的纹理深度融合特征。
5.根据权利要求4所述的基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,通过多视点时间非局部网络处理多视点空间融合特征,获得集成的多视点时空交互特征,计算公式如下:;
;
;
;
;
;
其中,表示调整特征维度的大小;表示时刻k的多视点空间融合特征;表示初步合成特征;表示三维卷积操作;表示调整特征形状;、和分别表示查询特征、键特征和值特征;表示矩阵相乘,表示多视点时空融合特征;表示沿不同通道的池化策略;表示k时刻的多视点时空交互特征。
6.根据权利要求5所述的基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,对第三纹理特征和多视点时空交互特征进行拼接,获得纹理融合特征,计算公式如下:;
;
;
其中,表示n个通道注意力模块;表示第二纹理特征;表示第三纹理特征;表示多视点平均池化策略;表示多视点池化特征;表示k时刻的纹理融合特征。
7.根据权利要求6所述的基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,将纹理融合特征依次输入门控循环单元和纹理视频质量回归模块,获得纹理视频分数,具体公式如下:;
;
;
;
;
其中,表示门控循环单元;表示最小值选取操作;表示第帧对应的高斯权重;表示调整直接和间接影响效果的超参数; 表示间接影响元素;表示直接影响元素; 表示加权求和得到质量回归后的纹理视频帧质量分数;表示对所有纹理视频帧质量分数进行全局平均池化得到纹理视频分数;表示时刻;表示直接影响的时间长度;表示间接影响的时间长度;表示直接影响的时间长度中质量最差帧的时刻;表示纹理视频帧长。
8.根据权利要求7所述的基于视点时空相关性的沉浸式视频质量评价方法,其特征在于,加权聚合纹理视频分数和深度视频分数,获得最终的沉浸式视频分数,计算公式如下:;
;
;
其中,表示质量回归模块中的多层感知机;表示同一时刻第i个视点的深度视频块特征;表示k时刻多视点池化后的深度特征;表示调整纹理和深度视频分数影响效果的超参数;表示最终的沉浸式视频质量分数;表示深度视频分数。
9.一种基于视点时空相关性的沉浸式视频质量评价装置,其特征在于,包括:沉浸式视频提取模块,用于获取包含多个视点的纹理视频和深度视频的沉浸式视频,提取每个视点的纹理视频和深度视频中的纹理视频块和深度视频块,基于纹理视频块和深度视频块提取纹理关键帧和深度关键帧;
模型构建及训练模块,用于构建沉浸式视频质量评价模型并训练,得到训练好的沉浸式视频质量评价模型;所述沉浸式视频质量评价模型包括纹理深度特征时空交互部分、纹理视频质量评价部分和深度视频质量评价部分;所述纹理深度特征时空交互部分包括纹理深度特征提取模块、多视点空间交互网络和多视点时间非局部网络;所述纹理视频质量评价部分包括纹理视频特征提取模块、通道注意力模块、门控循环单元和纹理视频质量回归模块,所述深度视频质量评价部分包括深度视频块特征提取模块和深度视频质量回归模块;
沉浸式视频分评价模块,用于将纹理视频块、深度视频块、纹理关键帧和深度关键帧输入训练好的沉浸式视频质量评价模型;具体的,通过纹理深度特征提取模块对纹理关键帧和深度关键帧进行特征提取,获得多个视点的第一纹理特征和深度特征;将多个视点的第一纹理特征和深度特征输入多视点空间交互网络,获得多视点纹理深度融合特征,基于多视点纹理深度融合特征获取多视点空间融合特征;通过多视点时间非局部网络处理多视点空间融合特征,获得集成的多视点时空交互特征;通过纹理视频特征提取模块对纹理视频块进行特征提取,获得第二纹理特征;将第二纹理特征输入通道注意力模块,获得第三纹理特征;对第三纹理特征和多视点时空交互特征进行拼接,获得纹理融合特征;将纹理融合特征依次输入门控循环单元和纹理视频质量回归模块,获得纹理视频分数;通过深度视频块特征提取模块提取深度视频块特征,获得深度视频块特征;将深度视频块特征输入深度视频质量回归模块,获得深度视频分数;加权聚合纹理视频分数和深度视频分数,获得最终的沉浸式视频分。