1.一种基于频率特征的沉浸式视频质量评价方法,其特征在于,包括如下步骤:S1,获取参考沉浸式视频和失真沉浸式视频;所述参考沉浸式视频包括参考纹理视频序列和参考深度视频序列,所述失真沉浸式视频包括失真纹理视频序列和失真深度视频序列;
S2,构建包括局部频率特征提取模块、全局频率特征提取模块、特征增强模块、频率特征差模块和质量回归模块的沉浸式视频质量评价模型;
所述局部频率特征提取模块包括第一局部频率特征提取单元和第二局部频率特征提取单元;所述全局频率特征提取模块包括第一全局频率特征提取单元和第二全局频率特征提取单元;所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元;
以参考纹理视频序列和失真纹理视频序列为第一组输入;以参考深度视频序列和失真深度视频序列为第二组输入;第一组输入在第一局部频率特征提取单元进行局部频率特征提取后,经过第一特征增强模块单元进行特征加强并输出第一组质量特征;第一组输入在第一全局频率特征提取单元进行全局频率特征提取后,经过第二特征增强模块单元进行特征加强并输出第二组质量特征;第二组输入在第二局部频率特征提取单元进行局部频率特征提取后,经过第三特征增强模块单元进行特征加强并输出第三组质量特征;第二组输入在第二全局频率特征提取单元进行全局频率特征提取后,经过第四特征增强模块单元进行特征加强并输出第四组质量特征;
所述特征差模块,分别将特征增强模块的各组输出的两个特征进行相减,得到四个特征差并进行融合,得到融合特征并输出;
所述质量回归模块,对输入的融合特征进行质量回归得到质量分数并输出;
S3,利用参考沉浸式视频和失真沉浸式视频对沉浸式视频质量评价模型进行训练,得到训练好的沉浸式视频质量评价模型;
S4,将待评价的沉浸式视频输入训练好的沉浸式视频质量评价模型,得到沉浸式视频质量评分。
2.根据权利要求1所述的基于频率特征的沉浸式视频质量评价方法,其特征在于,所述第一局部频率特征提取单元和第二局部频率特征提取单元均采用3D-Gabor滤波器的奇部分进行局部频率特征提取;所述3D-Gabor滤波器的奇部分的计算公式表示为:;
其中,表示原坐标,和分别表示空间坐标的横坐标和纵坐标,t表示时间坐标;表示旋转后的坐标;和分别表示滤波器在空间维度上横坐标和纵坐标的中心频率,表示滤波器在时间维度上的中心频率;和分别表示空间横坐标和纵坐标的标准差,表示时间的标准差,表示3D-Gabor滤波器的奇部分对应的函数。
3.根据权利要求1所述的基于频率特征的沉浸式视频质量评价方法,其特征在于,所述第一全局频率特征提取单元和第二全局频率特征提取单元均采用3D-FFT变换进行频域变换得到频谱图,对频谱图进行频谱中心化和log压缩处理,再使用三维带通巴特沃斯滤波器从处理后的频谱图中提取全局频率特征;所述3D-FFT变换的计算公式表示为:;
其中,表示频域中的频率坐标,表示水平空间频率,表示垂直空间频率,表示时间频率,、和分别表示频域相应的三个维度、和的长度;表示输入的沉浸式视频序列,表示原坐标;表示3D-FFT变换后的函数;
所述三维带通巴特沃斯滤波器的公式表示为:
;
其中,表示三维带通巴特沃斯滤波器;D表示三维网格的欧式距离,和表示截止频率,和表示阶数。
4.根据权利要求1所述的基于频率特征的沉浸式视频质量评价方法,其特征在于,各特征增强单元采用3D-CNN进行特征增强。
5.根据权利要求1所述的基于频率特征的沉浸式视频质量评价方法,其特征在于,所述频率特征差模块的实现具体如下:将第一组质量特征中的参考纹理视频序列的局部频率质量特征和失真纹理视频序列的局部频率质量特征进行相减操作,如下式所示:;
其中,表示参考纹理视频序列的局部频率质量特征;表示失真纹理视频序列的局部频率质量特征;表示进行相减操作后的纹理视频序列的局部频率质量特征;表示绝对值;表示原坐标,和分别表示空间坐标的横坐标和纵坐标,t表示时间坐标;
将第二组质量特征中的参考纹理视频序列的全局频率质量特征和失真纹理视频序列的全局频率质量特征进行相减操作,如下式所示:;
其中,表示参考纹理视频序列的全局频率质量特征;表示失真纹理视频序列的全局频率质量特征;表示进行相减操作后的纹理视频序列的全局频率质量特征;
将第三组质量特征中的参考深度视频序列的局部频率质量特征和失真深度视频序列的局部频率质量特征进行相减操作,如下式所示:;
其中,表示参考深度视频序列的局部频率质量特征;表示失真深度视频序列的局部频率质量特征;表示进行相减操作后的深度视频序列的局部频率质量特征;
将第四组质量特征中的参考深度视频序列的全局频率质量特征和失真深度视频序列的全局频率质量特征进行相减操作,如下式所示:;
其中,表示参考深度视频序列的全局频率质量特征,表示失真深度视频序列的全局频率质量特征;表示进行相减操作后的深度视频序列的全局频率质量特征;
随后,将相减操作获得的、、和进行特征融合,得到融合特征,如下式所示:;
其中,表示特征融合;表示进行特征融合操作后的频率特征。
6.根据权利要求1所述的基于频率特征的沉浸式视频质量评价方法,其特征在于,所述质量回归模块由多层感知机构成;质量回归模块的实现具体如下:输入的融合特征经过多层感知机,得到沉浸式视频感知质量分数;表示为:;
其中,表示第个沉浸式视频序列的质量得分,表示第个沉浸式视频序列的特征融合操作后的频率特征,=1,2,…,N;N表示待评价的沉浸式视频序列的数量;
对所有N个沉浸式视频序列的质量得分进行平均,得到整个沉浸式视频的总体得分,表示为:;
其中,表示待评价的沉浸式视频的总体得分。
7.一种基于频率特征的沉浸式视频质量评价装置,包括如下:
视频获取模块,用于获取参考沉浸式视频和失真沉浸式视频;所述参考沉浸式视频包括参考纹理视频序列和参考深度视频序列,所述失真沉浸式视频包括失真纹理视频序列和失真深度视频序列;
视频质量评价模型构建模块,用于构建包括局部频率特征提取模块、全局频率特征提取模块、特征增强模块、频率特征差模块和质量回归模块的沉浸式视频质量评价模型;
所述局部频率特征提取模块包括第一局部频率特征提取单元和第二局部频率特征提取单元;所述全局频率特征提取模块包括第一全局频率特征提取单元和第二全局频率特征提取单元;所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元;
以参考纹理视频序列和失真纹理视频序列为第一组输入;以参考深度视频序列和失真深度视频序列为第二组输入;第一组输入在第一局部频率特征提取单元进行局部频率特征提取后,经过第一特征增强模块单元进行特征加强并输出第一组质量特征;第一组输入在第一全局频率特征提取单元进行全局频率特征提取后,经过第二特征增强模块单元进行特征加强并输出第二组质量特征;第二组输入在第二局部频率特征提取单元进行局部频率特征提取后,经过第三特征增强模块单元进行特征加强并输出第三组质量特征;第二组输入在第二全局频率特征提取单元进行全局频率特征提取后,经过第四特征增强模块单元进行特征加强并输出第四组质量特征;
所述特征差模块,分别将特征增强模块的各组输出的两个特征进行相减,得到四个特征差并进行融合,得到融合特征并输出;
所述质量回归模块,对输入的融合特征进行质量回归得到质量分数并输出;
模型训练模块,用于利用参考沉浸式视频和失真沉浸式视频对沉浸式视频质量评价模型进行训练,得到训练好的沉浸式视频质量评价模型;
视频质量评价模块,用于将待评价的沉浸式视频输入训练好的沉浸式视频质量评价模型,得到沉浸式视频质量评分。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。