1.一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,其特征在于,包括:S1,基于MIV编码平台编码沉浸式视频序列,生成图集后,计算与深度映射范围系数;
S2,使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时,构建三维几何失真与均方误差的关系模型;
S3,根据三维几何失真与均方误差的关系模型,计算三维几何失真系数;
S4,根据三维几何失真系数,计算率失真优化模型中新的拉格朗日乘子,基于调整后的率失真优化模型编码当前CTU,以改善沉浸式视频渲染质量的率失真性能;
所述S2中,构建三维几何失真与均方误差的关系模型,表示如下:其中,Dgeom表示CU的三维几何失真;M表示CU被划分的子块数,子块大小由MIV编码参数中最小子块patch尺寸决定;ωj表示子块j的欧式距离系数; 表示子块j的法向量系数;
DMSE表示CU的均方误差失真;
所述S3中,三维几何失真系数的具体计算方法如下:S31,根据子块权重均值、深度映射范围系数均值、像素均值与像素方差计算子块的欧式距离系数;
S32,基于最小二乘法,计算子块的法向量系数;
S33,根据欧式距离系数与法向量系数计算三维几何失真系数。
2.根据权利要求1所述的一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,其特征在于,所述S1中,计算深度映射范围,包括:根据所生成图集中每个子块patch所属源视图的相机内参数计算子块patch中像素i对应的相机坐标系下的深度映射范围系数。
3.根据权利要求2所述的一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,其特征在于,根据所生成图集中每个子块patch所属源视图的相机内参数计算子块patch中像素i对应的相机坐标系下的深度映射范围系数,如下:其中, 表示像素i对应的深度映射系数最小值; 表示像素对应的深度映射系数最大值; 表示源视点深度图的最近距离; 表示源视点深度图的最远距离。
4.根据权利要求3所述的一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,其特征在于,所述S31,具体包括:S311,计算子块权重均值;
透视投影模型下像素权重wi表示为:
其中,ui表示图像坐标系下像素i的横坐标;vi表示图像坐标系下像素i的纵坐标; 表h示图像坐标系下投影焦点的水平分量; 表示图像坐标系下投影焦点的垂直分量;fi表示v图像坐标系下主点的水平分量;fi表示图像坐标系下主点的垂直分量;
ERP投影和正交投影模型下,像素i权重wi=1;
子块j权重均值 表示如下:
其中,N表示子块j包含的像素个数;
S312,计算子块像素深度映射范围系数均值;
像素i的深度映射范围系数bi定义为:
其中, 表示像素i对应的深度映射系数最小值; 表示像素i对应的深度映射系数最大值;
子块j的深度映射范围系数均值 为:
S313,计算欧式距离系数;
子块j欧式距离系数ωj由以下公式定义:其中, 表示子块像素值d平方的均值; 表示子块像素d平方的方差;c1和c2为两个常系数,值为2。
5.根据权利要求3所述的一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,其特征在于,所述S32,具体包括:S321,根据像素值di计算对应的深度值zi,计算过程如下:其中,dmax表示像素值的最大值,与比特深度有关,表示如下:bitdepth
其中,bitdepth表示图像中像素的比特深度;2 表示按照图像中像素的比特深度取2的指数;
S322,根据子块大小,构建子块常数矩阵P,如下:其中,x表示像素p在子块中所属的行数,y表示像素p在子块中所属的列数,n表示子块包含的像素个数;
S323,根据子块常数矩阵P与深度值zi组成的列向量,计算子块的近似平面公式,计算过程如下:深度值zi组成的列向量z,定义如下:
子块的近似平面公式定义如下:
z=Ux+Vy+W;
其中,U、V和W为平面公式中的待定常系数;
由最小二乘法计算该平面公式:
S324,根据近似平面公式计算子块的法向量系数,过程如下:法向量系数定义如下:
其中, 代表子块j的法向量系数。
6.根据权利要求3所述的一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,其特征在于,所述S33中,根据欧式距离系数与法向量系数计算三维几何失真系数,如下:其中,M表示CU被划分的子块数,子块大小由MIV编码参数中最小子块patch尺寸决定;
ωj表示子块j的欧式距离系数; 表示子块j的法向量系数。
7.根据权利要求3所述的一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,其特征在于,所述S4中,新的拉格朗日乘子表示如下:其中,λMSE表示原有率失真代价过程中的拉格朗日乘子;ρ表示三维几何失真系数。