欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021106723076
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-17
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于KLT技术的超分辨率重建图像质量评价方法,其特征在于包括以下步骤:

步骤1:将失真的超分辨率重建图像记为I,将I的红色通道、绿色通道和蓝色通道对应记为IR、IG、IB,将IR中坐标位置为(a,b)的像素点的像素值记为IR(a,b),将IG中坐标位置为(a,b)的像素点的像素值记为IG(a,b),将IB中坐标位置为(a,b)的像素点的像素值记为IB(a,b);其中,1≤a≤W,1≤b≤H,W表示I的宽度,H表示I的高度;

步骤2:对I进行颜色空间转换,得到对应的三通道图像,记为O,将O的第1个颜色通道、第2个颜色通道、第3个颜色通道对应记为O1、O2、O3,将O1中坐标位置为(a,b)的像素点的像素值记为O1(a,b),将O2中坐标位置为(a,b)的像素点的像素值记为O2(a,b),将O3中坐标位置为(a,b)的像素点的像素值记为O3(a,b), 然后利用MSCN技术,计算O1、O2、O3各自的MSCN系数图,对应记为 其中,O、O1、O2、O3、 的宽度均为W且高度均为H,符号“[]”为向量或矩阵表示符号;

步骤3:将 分别分割成S个互不重叠的尺寸大小为 的图像块;然后

对 各自中的每个图像块进行向量化处理;再将 各自中的所有图

像块经向量化处理后得到的向量化结果拼接成一个向量化矩阵,将 中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵记为Z1,Z1中的每一列为 中的一个图像块经向量化处理后得到的维数为K×1的向量化结果,将 中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵记为Z2,Z2中的每一列为 中的一个图像块经向量化处理后得到的维数为K×1的向量化结果,将 中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵记为Z3,Z3中的每一列为 中的一个图像块经向量化处理后得到的维数为K×1的向量化结果;其中, 符号 为向下取整运算符号,K的值为4、9、16、25、36、49或64,Z1、Z2、Z3的维数均为K×S;

步骤4:采用离线的方式,利用若干幅原始高分辨率图像获取与步骤3中获得的三通道图像相同的三个颜色通道各自的KLT核,将第1个颜色通道的KLT核、第2个颜色通道的KLT核、第3个颜色通道的KLT核对应记为P1、P2、P3;其中,P1、P2、P3的维数均为K×K;

T

步骤5:计算 各自的KLT系数矩阵,对应记为A1、A2、A3,A1=(P1) Z1,A2=(P2)T T

Z2,A3=(P3) Z3;其中,上标“T”表示向量或矩阵的转置,A1、A2、A3的维数均为K×S;

步骤6:获取O1的第一特征向量,记为fa1,fa1的获取过程为:利用矩匹配方法对A1中的每个行向量及所有行向量拼接成的行向量按先后顺序依次进行非对称广义高斯分布参数估计,得到K+1组AGGD参数,第1组AGGD参数对应A1中的第1个行向量,第2组AGGD参数对应A1中的第2个行向量,依次类推,第K组AGGD参数对应A1中的第K个行向量,第K+1组AGGD参数对应A1中的所有行向量拼接成的行向量,每组AGGD参数由形状参数、左尺度参数、右尺度参数组成,形状参数、左尺度参数、右尺度参数均大于0;然后将A1对应的K+1组AGGD参数按序排列构成的列向量作为O1的第一特征向量fa1,fa1=[Aggd1(1) Aggd1(2)…Aggd1(K) Aggd1(K+T

1)] ;其中,Aggd1(1)表示A1对应的第1组AGGD参数,Aggd1(2)表示A1对应的第2组AGGD参数,Aggd1(K)表示A1对应的第K组AGGD参数,Aggd1(K+1)表示A1对应的第K+1组AGGD参数,fa1的维数为3(K+1)×1;

同样,获取O2的第一特征向量,记为fa2,fa2的获取过程为:利用矩匹配方法对A2中的每个行向量及所有行向量拼接成的行向量按先后顺序依次进行非对称广义高斯分布参数估计,得到K+1组AGGD参数,第1组AGGD参数对应A2中的第1个行向量,第2组AGGD参数对应A2中的第2个行向量,依次类推,第K组AGGD参数对应A2中的第K个行向量,第K+1组AGGD参数对应A2中的所有行向量拼接成的行向量,每组AGGD参数由形状参数、左尺度参数、右尺度参数组成,形状参数、左尺度参数、右尺度参数均大于0;然后将A2对应的K+1组AGGD参数按序排列构成的列向量作为O2的第一特征向量fa2,fa2=[Aggd2(1) Aggd2(2)…Aggd2(K) Aggd2(K+T

1)] ;其中,Aggd2(1)表示A2对应的第1组AGGD参数,Aggd2(2)表示A2对应的第2组AGGD参数,Aggd2(K)表示A2对应的第K组AGGD参数,Aggd2(K+1)表示A2对应的第K+1组AGGD参数,fa2的维数为3(K+1)×1;

获取O3的第一特征向量,记为fa3,fa3的获取过程为:利用矩匹配方法对A3中的每个行向量及所有行向量拼接成的行向量按先后顺序依次进行非对称广义高斯分布参数估计,得到K+1组AGGD参数,第1组AGGD参数对应A3中的第1个行向量,第2组AGGD参数对应A3中的第2个行向量,依次类推,第K组AGGD参数对应A3中的第K个行向量,第K+1组AGGD参数对应A3中的所有行向量拼接成的行向量,每组AGGD参数由形状参数、左尺度参数、右尺度参数组成,形状参数、左尺度参数、右尺度参数均大于0;然后将A3对应的K+1组AGGD参数按序排列构成的列T向量作为O3的第一特征向量fa3,fa3=[Aggd3(1) Aggd3(2)…Aggd3(K) Aggd3(K+1)] ;其中,Aggd3(1)表示A3对应的第1组AGGD参数,Aggd3(2)表示A3对应的第2组AGGD参数,Aggd3(K)表示A3对应的第K组AGGD参数,Aggd3(K+1)表示A3对应的第K+1组AGGD参数,fa3的维数为3(K+

1)×1;

步骤7:获取O1的第二特征向量,记为fe1,fe1的获取过程为:计算A1中的每个行向量的能量系数,将A1中的第h个行向量的能量系数记为e1(h), 然后将A1中的所有行向量的能量系数按序排列构成的列向量作为O1的第二特征向量fe1,fe1=T

[e1(1)…e1(h)…e1(K)] ;其中,1≤h≤K,1≤s≤S,A1(h,s)表示A1中第h行的第s列元素,e1(1)表示A1中的第1个行向量的能量系数,e1(K)表示A1中的第K个行向量的能量系数,fe1的维数为K×1;

同样,获取O2的第二特征向量,记为fe2,fe2的获取过程为:计算A2中的每个行向量的能量系数,将A2中的第h个行向量的能量系数记为e2(h), 然后将A2中的所有行向量的能量系数按序排列构成的列向量作为O2的第二特征向量fe2,fe2=T

[e2(1)…e2(h)…e2(K)] ;其中,A2(h,s)表示A2中第h行的第s列元素,e2(1)表示A2中的第1个行向量的能量系数,e2(K)表示A2中的第K个行向量的能量系数,fe2的维数为K×1;

获取O3的第二特征向量,记为fe3,fe3的获取过程为:计算A3中的每个行向量的能量系数,将A3中的第h个行向量的能量系数记为e3(h), 然后将A3中的所有行向量的能量系数按序排列构成的列向量作为O3的第二特征向量fe3,fe3=[e3T

(1)…e3(h)…e3(K)] ;其中,A3(h,s)表示A3中第h行的第s列元素,e3(1)表示A3中的第1个行向量的能量系数,e3(K)表示A3中的第K个行向量的能量系数,fe3的维数为K×1;

T T T

步骤8:将fa1和fe1拼接成O1的特征向量,记为f1,f1=[(fa1) (fe1)] ;同样,将fa2和fe2T T T

拼接成O2的特征向量,记为f2,f2=[(fa2) (fe2)];将fa3和fe3拼接成O3的特征向量,记为f3,T T T

f3=[(fa3) (fe3) ];再将f1、f2、f3拼接成I的特征向量,记为fea, 其

中,f1的维数为(4K+3)×1,f2的维数为(4K+3)×1,f3的维数为(4K+3)×1,fea的维数为3(4K+3)×1;

步骤9:将失真的超分辨率重建图像的特征向量作为输入,结合SVM回归机,计算得到失真的超分辨率重建图像的最终客观质量预测分数,最终客观质量预测分数越大,说明输入的特征向量对应的失真的超分辨率重建图像的质量越好;反之,说明输入的特征向量对应的失真的超分辨率重建图像的质量越差。

2.根据权利要求1所述的一种基于KLT技术的超分辨率重建图像质量评价方法,其特征在于所述的步骤4的具体过程为:

步骤4_1:选取Num幅原始高分辨率图像,并构成图像集,将图像集中的第i幅原始高分辨率图像记为Xi,将Xi的红色通道、绿色通道和蓝色通道对应记为Xi,R、Xi,G、Xi,B,将Xi,R中坐标位置为(a',b')的像素点的像素值记为Xi,R(a',b'),将Xi,G中坐标位置为(a',b')的像素点的像素值记为Xi,G(a',b'),将Xi,B中坐标位置为(a',b')的像素点的像素值记为Xi,B(a',b');其中,Num≥1,1≤i≤Num,Xi的宽度为Mi且高度为Ni,1≤a'≤Mi,1≤b'≤Ni;

步骤4_2:对图像集中的每幅原始高分辨率图像进行颜色空间转换,得到对应的三通道图像,将Xi经颜色空间转换后得到的三通道图像记为Yi,将Yi的第1个颜色通道、第2个颜色通道、第

3个颜色通道对应记为Yi,1、Yi,2、Yi,3,将Yi,1中坐标位置为(a',b')的像素点的像素值记为Yi,1(a',b'),将Yi,2中坐标位置为(a',b')的像素点的像素值记为Yi,2(a',b'),将Yi,3中坐标位置为(a',b')的像素点的像素值记为Yi,3(a',b'),然后利用MSCN技术,计算图像集中的每幅原始高分辨率图像经颜色空间转换后得到的三通道图像的各个颜色通道的MSCN系数图,将Yi,1、Yi,2、Yi,3各自的MSCN系数图对应记为其中,Yi、Yi,1、Yi,2、Yi,3、 的宽度均为Mi且高度均为Ni,符号“[]”为向量或矩阵表示符号;

步骤4_3:将图像集中的每幅原始高分辨率图像经颜色空间转换后得到的三通道图像的各个颜色通道的MSCN系数图分割成多个互不重叠的尺寸大小为 的图像块,将分别分割成Si个互不重叠的尺寸大小为 的图像块;然后对图像集中

的每幅原始高分辨率图像经颜色空间转换后得到的三通道图像的各个颜色通道的MSCN系数图中的每个图像块进行向量化处理;再将图像集中的每幅原始高分辨率图像经颜色空间转换后得到的三通道图像的每个颜色通道的MSCN系数图中的所有图像块经向量化处理后得到的向量化结果拼接成一个向量化矩阵,将 中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵记为Li,1,Li,1中的每一列为 中的一个图像块经向量化处理后得到的维数为K×1的向量化结果,将 中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵记为Li,2,Li,2中的每一列为 中的一个图像块经向量化处理后得到的维数为K×1的向量化结果,将 中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵记为Li,3,Li,3中的每一列为 中的一个图像块经向量化处理后得到的维数为K×1的向量化结果;其中, 符号 为向下取整运算符号,K的值为4、9、16、25、36、49或64,Li,1、Li,2、Li,3的维数均为K×Si;

步骤4_4:将图像集中的所有原始高分辨率图像经颜色空间转换后得到的三通道图像的第1个颜色通道的MSCN系数图对应的向量化矩阵按行方向上拼接成第一先验矩阵,记为V1,V1=[L1,1…Li,1…LNum,1];同样,将图像集中的所有原始高分辨率图像经颜色空间转换后得到的三通道图像的第2个颜色通道的MSCN系数图对应的向量化矩阵按行方向上拼接成第二先验矩阵,记为V2,V2=[L1,2…Li,2…LNum,2];将图像集中的所有原始高分辨率图像经颜色空间转换后得到的三通道图像的第3个颜色通道的MSCN系数图对应的向量化矩阵按行方向上拼接成第三先验矩阵,记为V3,V3=[L1,3…Li,3…LNum,3];然后计算V1、V2、V3各自的协方差矩阵,对应记为C1、C2、C3, 其中,L1,1表示图像集中的第1幅原始高分辨率图像X1经颜色空间转换后得到的三通道图像Y1的第1个颜色通道Y1,1的MSCN系数图中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵,LNum,1表示图像集中的第Num幅原始高分辨率图像XNum经颜色空间转换后得到的三通道图像YNum的第1个颜色通道YNum,1的MSCN系数图中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵,L1,2表示图像集中的第1幅原始高分辨率图像X1经颜色空间转换后得到的三通道图像Y1的第2个颜色通道Y1,2的MSCN系数图中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵,LNum,2表示图像集中的第Num幅原始高分辨率图像XNum经颜色空间转换后得到的三通道图像YNum的第2个颜色通道YNum,2的MSCN系数图中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵,L1,3表示图像集中的第1幅原始高分辨率图像X1经颜色空间转换后得到的三通道图像Y1的第3个颜色通道Y1,3的MSCN系数图中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵,LNum,3表示图像集中的第Num幅原始高分辨率图像XNum经颜色空间转换后得到的三通道图像YNum的第3个颜色通道YNum,3的MSCN系数图中的所有图像块经向量化处理后得到的向量化结果拼接成的向量化矩阵,j=1,2,3,Sum表示V1、V2或V3中的列向量的数量,1≤t≤Sum,vj(t)表示Vj中的第t个列向量,vj(t)的维数为K×1,vj表示对Vj按行取均值得到的均值向量, 的维数为K×1,上标“T”表示向量或矩阵的转置,Cj的维数为K×K;

步骤4_5:利用特征值分解技术,求解C1的K个特征值和对应的K个特征向量;然后对C1的K个特征向量按对应的K个特征值由大到小的降序方式进行排列,将排列结果作为从V1中提取到的先验信息,将从V1中提取到的先验信息作为第1个颜色通道的KLT核P1,P1=[p1(1) p1(2)…p1(K)];

同样,利用特征值分解技术,求解C2的K个特征值和对应的K个特征向量;然后对C2的K个特征向量按对应的K个特征值由大到小的降序方式进行排列,将排列结果作为从V2中提取到的先验信息,将从V2中提取到的先验信息作为第2个颜色通道的KLT核P2,P2=[p2(1) p2(2)…p2(K)];

利用特征值分解技术,求解C3的K个特征值和对应的K个特征向量;然后对C3的K个特征向量按对应的K个特征值由大到小的降序方式进行排列,将排列结果作为从V3中提取到的先验信息,将从V3中提取到的先验信息作为第3个颜色通道的KLT核P3,P3=[p3(1) p3(2)…p3(K)];

其中,特征向量的维数为K×1,P1、P2、P3的维数均为K×K,p1(1)、p1(2)、p1(K)对应表示C1的K个特征向量按对应的K个特征值由大到小的降序方式排列后的第1个特征向量、第2个特征向量、第K个特征向量,p2(1)、p2(2)、p2(K)对应表示C2的K个特征向量按对应的K个特征值由大到小的降序方式排列后的第1个特征向量、第2个特征向量、第K个特征向量,p3(1)、p3(2)、p3(K)对应表示C3的K个特征向量按对应的K个特征值由大到小的降序方式排列后的第1个特征向量、第2个特征向量、第K个特征向量。

3.根据权利要求1或2所述的一种基于KLT技术的超分辨率重建图像质量评价方法,其特征在于所述的步骤9的具体过程为:

步骤9_1:选取d组失真的超分辨率重建图像,每组包含ω1幅二尺度的超分辨率重建图像、ω2幅三尺度的超分辨率重建图像、ω3幅四尺度的超分辨率重建图像,将共Number幅失真的超分辨率重建图像构成超分图像库;其中,d≥60,ω1、ω2、ω3均大于或等于1,Number=d(ω1+ω2+ω3),每组失真的超分辨率重建图像对应一幅高分辨率图像;

步骤9_2:按照步骤1至步骤8的过程,以相同的方式获取超分图像库中的每幅失真的超分辨率重建图像的特征向量;并获取超分图像库中的每幅失真的超分辨率重建图像的主观评分;

步骤9_3:从超分图像库中随机选取m组失真的超分辨率重建图像,将选取的m组中的m×ω1幅二尺度的超分辨率重建图像的特征向量和主观评分构成第一训练集,将选取的m组中的m×ω2幅三尺度的超分辨率重建图像的特征向量和主观评分构成第二训练集,将选取的m组中的m×ω3幅四尺度的超分辨率重建图像的特征向量和主观评分构成第三训练集,将剩余的d‑m组中的(d‑m)×ω1幅二尺度的超分辨率重建图像的特征向量构成第一测试集,将剩余的d‑m组中的(d‑m)×ω2幅三尺度的超分辨率重建图像的特征向量构成第二测试集,将剩余的d‑m组中的(d‑m)×ω3幅四尺度的超分辨率重建图像的特征向量构成第三测试集;其中, 符号 为向下取整运算符号;

步骤9_4:采用SVM回归机作为机器学习的方法,将第一训练集中的所有特征向量和所有主观评分输入到SVM回归机中进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,构造得到第一SVM回归模型;然后将第一测试集中的每个特征向量输入到第一SVM回归模型中进行测试,得到第一测试集中的每个特征向量对应的失真的超分辨率重建图像的客观质量预测分数;

同样,采用SVM回归机作为机器学习的方法,将第二训练集中的所有特征向量和所有主观评分输入到SVM回归机中进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,构造得到第二SVM回归模型;然后将第二测试集中的每个特征向量输入到第二SVM回归模型中进行测试,得到第二测试集中的每个特征向量对应的失真的超分辨率重建图像的客观质量预测分数;

采用SVM回归机作为机器学习的方法,将第三训练集中的所有特征向量和所有主观评分输入到SVM回归机中进行训练,使得经过训练得到的回归函数值与主观评分之间的误差最小,构造得到第三SVM回归模型;然后将第三测试集中的每个特征向量输入到第三SVM回归模型中进行测试,得到第三测试集中的每个特征向量对应的失真的超分辨率重建图像的客观质量预测分数;

步骤9_5:重复执行步骤9_3和步骤9_4共U次,使超分图像库中的每幅失真的超分辨率重建图像的客观质量预测分数至少有1个;然后计算超分图像库中的每幅失真的超分辨率重建图像的若干个客观质量预测分数的平均值作为该幅失真的超分辨率重建图像的最终客观质量预测分数。

4.根据权利要求3所述的一种基于KLT技术的超分辨率重建图像质量评价方法,其特征在于所述的步骤9_1中,每组失真的超分辨率重建图像的生成过程为:利用调整焦距重新拍摄的方式对一幅高分辨率图像进行处理,退化得到二尺度的低分辨率图像、三尺度的低分辨率图像、四尺度的低分辨率图像;然后对二尺度的低分辨率图像分别应用ω1种超分辨率重建方法得到对应的ω1幅二尺度的超分辨率重建图像;同样,对三尺度的低分辨率图像分别应用ω2种超分辨率重建方法得到对应的ω2幅三尺度的超分辨率重建图像;对四尺度的低分辨率图像分别应用ω3种超分辨率重建方法得到对应的ω3幅四尺度的超分辨率重建图像。