欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017101554376
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2023-10-15
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无参考三维视频质量评价方法,其特征在于包括训练阶段和测试阶段两个过程;

所述的训练阶段过程的具体步骤如下:

①_1、选取N个原始三维视频序列,原始三维视频序列由原始彩色视频序列和原始深度视频序列构成,原始彩色视频序列由T帧原始彩色图像组成,原始深度视频序列由T帧原始深度图像组成;然后从每个原始彩色视频序列中选择第i个帧组的TGOP帧原始彩色图像构成原始彩色视频帧组,同样从每个原始深度视频序列中选择第i个帧组的TGOP帧原始深度图像构成原始深度视频帧组;接着对N个原始彩色视频帧组和N个原始深度视频帧组分别进行L个不同失真强度的编码失真,将所有原始彩色视频帧组及各自对应的L个失真强度的失真彩色视频帧组构成第一组训练集,记为 并将所有原始深度视频帧组及各自对应的L个失真强度的失真深度视频帧组构成第二组训练集,记为其中,原始彩色图像和原始深度图像的宽度均为W且高度均为H,N>1,T≥8, 符号 为向下取整符号,TGOP表示一个帧组的长度,TGOP≥

8,L>1, 表示 中的第u个原始彩色视频帧组, 表示中的第u个原始彩色视频帧组对应的第v个失真强度的失真彩色视频帧组,将 中的第t帧原始彩色图像记为 将 中的第t帧失真彩色图像记为 表示 中的第u个原始深度视频帧组,

表示 中的第u个原始深度视频帧组对应的第v个失真强度的失真深度视频帧组,将 中的第t帧原始深度图像记为 将 中的第t帧失真深度图像记为 1≤t≤TGOP,1≤x≤W,1≤y≤H, 表示 中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值, 表示中坐标位置为(x,y)的像素点的像素值;

①_2、获取 中的每个失真彩色视频帧组的特征矢量,将中的第k个失真彩色视频帧组的特征矢量记为 同样,获取中的 每个 失 真 深 度 视 频帧 组 的 特 征 矢 量 ,将中的第k个失真深度视频帧组的特征矢量记为 其中,1≤k≤M,M=N×L, 和 的维数均为96×1;

①_3、根据 中的所有失真彩色视频帧组的特征矢量构造彩色字典,记为DC, 同样,根据 中的所有失

真深度视频帧组的特征矢量构造深度字典,记为DD, 其中,符号“[]”为矢量表示符号, 表示 中的第1个失真彩色视频帧组的特征矢量, 表示 中的第M个失真彩色视频帧组的特征矢量, 表示 中的第1个失真深度视频序列的帧组矢量, 表示中的第M个失真深度视频帧组的特征矢量;

C C D

①_4、构造D对应的彩色质量表,记为q , 同样,构造D 对应的深度质量表,记为qD, 其中, 表示采用 中的

第1个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值, 表示采用 中的第k个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值, 表示采用 中的第M个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值, 表示采用 中的第1个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值, 表示采用中的第k个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值, 表示采用中的第M个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值;

所述的测试阶段过程的具体步骤如下:

②_1、对于任意一个待评价的失真三维视频序列,其由失真彩色视频序列和失真深度视频序列构成,将待评价的失真三维视频序列的失真彩色视频序列和失真深度视频序列对应记为Ctest和Dtest,Ctest由T'帧失真彩色图像组成,Dtest由T'帧失真深度图像组成;然后将Ctest中的T'帧失真彩色图像分成 个失真彩色视频帧组,并将Dtest中的T'帧失真深度图像分成 个失真深度视频帧组;其中,失真彩色图像和失真深度图像的宽度均为W'且高度均为H',T'≥8,符号 为向下取整符号,TGOP表示一个帧组的长度,TGOP≥8;

②_2、按照步骤①_2的过程,以相同的操作获取Ctest中的每个失真彩色视频帧组的特征矢量和Dtest中的每个失真深度视频帧组的特征矢量,将Ctest中的第p个失真彩色视频帧组的特征矢量记为 将Dtest中的第p个失真深度视频帧组的特征矢量记为 其中,1≤p≤P,和 的维数均为96×1;

②_3、根据在训练阶段构造的彩色字典DC和Ctest中的每个失真彩色视频帧组的特征矢量,计算Ctest中的每个失真彩色视频帧组的稀疏系数矩阵,将Ctest中的第p个失真彩色视频帧组的稀疏系数矩阵记为 是通过求解 得到的;同样,根据在训练阶段构造的深度字典DD和Dtest中的每个失真深度视频帧组的特征矢量,计算Dtest中的每个失真深度视频帧组的稀疏系数矩阵,将Dtest中的第p个失真深度视频帧组的稀疏系数矩阵记为 是通过求解 得到的;其中,符号“|| ||2”为求取矩阵的

2-范数符号,ε为误差阈值,min{}为取最小值函数;

②_4、根据在训练阶段构造的彩色质量表qC和Ctest中的每个失真彩色视频帧组的稀疏系数矩阵,计算Ctest中的每个失真彩色视频帧组的客观质量评价预测值,将Ctest中的第p个失真彩色视频帧组的客观质量评价预测值记为 同样,根据在训练阶段构造的深度质量表qD和Dtest中的每个失真深度视频帧组的稀疏系数矩阵,计算Dtest中的每个失真深度视频帧组的客观质量评价预测值,将Dtest中的第p个失真深度视频帧组的客观质量评价预测值记为 其中,符号“|| ||1”为求取矩阵的1-范数符号;

②_5、计算待评价的失真三维视频序列的客观质量评价预测值,记为Q,其中, 表示Ctest中的第p个失真彩色视

频帧组的权重系数, 表示Dtest中的第p个失真深度视频帧组的权重系数, 表示Ctest中的第p个失真彩色视频帧组与Dtest中的第p个失真深度视频帧组相互作用的权重系数。

2.根据权利要求1所述的一种无参考三维视频质量评价方法,其特征在于所述的步骤①_2中的 的获取过程为:a1、将 中的第k个失真彩色视频帧组记为 将 中的第t帧失真彩色图像记为 将 的梯度幅值图像记为 其中,表示 中坐标位置为(x,y)的像素点的像素值, 表示中坐标位置为(x,y)的像素点的像素值,

表示 中坐标位置为(x,y)的像素点的水平梯度幅值, 表示 中坐标位置为(x,y)的像素点的垂直梯度幅值;

a2、采用BRISQUE方法获取 中的每帧失真彩色图像的梯度幅值图像的第一图像特征矢量,将 的第一图像特征矢量记为 并采用LBP方法获取 中的每帧失真彩色图像的梯度幅值图像的第二图像特征矢量,将 的第二图像特征矢量记为然后将 中的每帧失真彩色图像的梯度幅值图像的第一图像特征矢量和第二图像特征矢量按序组合成 中的每帧失真彩色图像的梯度幅值图像的图像特征矢量,将的图像特征矢量记为 由 和 按序组合成;其中,的维数为32×1, 的维数为16×1, 的维数为48×1;

a3、获取 的空间特征矢量,记为

a4、计算 中除第1帧外的每帧失真彩色图像的帧差图像,将 中的第t'帧失真彩色图像 的帧差图像记为 将 中坐标位置为(x,y)的像素点的像素值记为 其中,2≤t'≤TGOP,

表示 中坐标位置为(x,y)的像素点的像素值, 表示 中的第t'-1帧失真彩色图像 中坐标位置为(x,y)的像素点的像素值;

a5、采用BRISQUE方法获取 中除第1帧外的每帧失真彩色图像的帧差图像的第一图像特征矢量,将 的第一图像特征矢量记为 并采用LBP方法获取 中除第1帧外的每帧失真彩色图像的帧差图像的第二图像特征矢量,将 的第二图像特征矢量记为 然后将 中除第1帧外的每帧失真彩色图像的帧差图像的第一图像特征矢量和第二图像特征矢量按序组合成 中除第1帧外的每帧失真彩色图像的帧差图像的图像特征矢量,将 的图像特征矢量记为 由 和按序组合成;其中, 的维数为32×1, 的维数为16×1, 的维数为

48×1;

a6、获取 的时域特征矢量,记为

a7、将 和 按序组合成 其中, 的维数为96×1,符号“[]”为矢量表示符号;

所述的步骤①_2中的 的获取过程为:

b1、将 中的第k个失真深度视频帧组记为 将 中的第t帧失真深度图像记为 将 的梯度幅值图像记为 其中,表示 中坐标位置为(x,y)的像素点的像素值, 表示中坐标位置为(x,y)的像素点的像素值,

表示 中坐标位置为(x,y)的像素点的水平梯度幅值, 表示 中坐标位置为(x,y)的像素点的垂直梯度幅值;

b2、采用BRISQUE方法获取 中的每帧失真深度图像的梯度幅值图像的第一图像特征矢量,将 的第一图像特征矢量记为 并采用LBP方法获取 中的每帧失真深度图像的梯度幅值图像的第二图像特征矢量,将 的第二图像特征矢量记为然后将 中的每帧失真深度图像的梯度幅值图像的第一图像特征矢量和第二图像特征矢量按序组合成 中的每帧失真深度图像的梯度幅值图像的图像特征矢量,将的图像特征矢量记为 由 和 按序组合成;其中,的维数为32×1, 的维数为16×1, 的维数为48×1;

b3、获取 的空间特征矢量,记为

b4、计算 中除第1帧外的每帧失真深度图像的帧差图像,将 中的第t'帧失真深度图像 的帧差图像记为 将 中坐标位置为(x,y)的像素点的像素值记为 其中,2≤t'≤TGOP,

表示 中坐标位置为(x,y)的像素点的像素值, 表示 中的第t'-1帧失真深度图像 中坐标位置为(x,y)的像素点的像素值;

b5、采用BRISQUE方法获取 中除第1帧外的每帧失真深度图像的帧差图像的第一图像特征矢量,将 的第一图像特征矢量记为 并采用LBP方法获取 中除第1帧外的每帧失真深度图像的帧差图像的第二图像特征矢量,将 的第二图像特征矢量记为 然后将 中除第1帧外的每帧失真深度图像的帧差图像的第一图像特征矢量和第二图像特征矢量按序组合成 中除第1帧外的每帧失真深度图像的帧差图像的图像特征矢量,将 的图像特征矢量记为 由 和按序组合成;其中, 的维数为32×1, 的维数为16×1, 的维数为

48×1;

b6、获取 的时域特征矢量,记为

b7、将 和 按序组合成 其中, 的维数为96×1,符号“[]”为矢量表示符号。

3.根据权利要求1或2所述的一种无参考三维视频质量评价方法,其特征在于所述的步骤②_5中的其中, ξ1=α2,

α表示当前视点对虚拟视点的加权参数, f表

示水平相机阵列中各相机的水平焦距,Lb表示相机之间的基线距离,Znear表示最小的场景深度值,Zfar表示最大的场景深度值,φp表示Ctest中的第p个失真彩色视频帧组中的所有像素点的平均梯度幅值,φp=E((|Ctest,p,t(x',y')-Ctest,p,t(x'-1,y')|+|Ctest,p,t(x',y')-2

Ctest,p,t(x'+1,y')|)),E((|Ctest,p,t(x',y')-Ctest,p,t(x'-1,y')|+|Ctest,p,t(x',y')-Ctest,p,t(x'+1,y')|)2)表示求(|Ctest,p,t(x',y')-Ctest,p,t(x'-1,y')|+|Ctest,p,t(x',y')-Ctest,p,t(x'+1,y')|)2的数学期望值,符号“| |”为取绝对值符号,1≤t≤TGOP,1≤x'≤W',1≤y'≤H',Ctest,p,t(x',y')表示Ctest中的第p个失真彩色视频帧组中的第t帧失真彩色图像中坐标位置为(x',y')的像素点的像素值,当2≤x'≤W'时Ctest,p,t(x'-1,y')表示Ctest中的第p个失真彩色视频帧组中的第t帧失真彩色图像中坐标位置为(x'-1,y')的像素点的像素值,当x'≤1时令Ctest,p,t(x'-1,y')=Ctest,p,t(1,y'),当1≤x'≤W'-1时Ctest,p,t(x'+1,y')表示Ctest中的第p个失真彩色视频帧组中的第t帧失真彩色图像中坐标位置为(x'+1,y')的像素点的像素值,当x'≥W'时令Ctest,p,t(x'+1,y')=Ctest,p,t(W',y'),Ctest,p,t(x'-1,y')=Ctest,p,t(1,y')和Ctest,p,t(x'+1,y')=Ctest,p,t(W',y')中的“=”为赋值符号。