1.一种基于几何失真度量的图像适配质量评价方法,其特征在于包括以下步骤:步骤一:将原始的图像记为{IO(x,y)},将{IO(x,y)}对应的适配图像记为{IR(x',y')};
其中,(x,y)表示{IO(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{IO(x,y)}的宽度,H表示{IO(x,y)}的高度,IO(x,y)表示{IO(x,y)}中坐标位置为(x,y)的像素点的像素值,(x',y')表示{IR(x',y')}中的像素点的坐标位置,1≤x'≤W',1≤y'≤H',W'表示{IR(x',y')}的宽度,H'表示{IR(x',y')}的高度,IR(x',y')表示{IR(x',y')}中坐标位置为(x',y')的像素点的像素值;
步骤二:对{IO(x,y)}的四周边界扩展17个像素点;然后以{IO(x,y)}中的每个像素点为中心取尺寸大小为35×35的图像块,共得到W×H个图像块,将{IO(x,y)}中以坐标位置为(x,y)的像素点为中心的图像块记为p(x,y);接着采用预训练的基于Sketch Token的边缘形状分类器对{IO(x,y)}中的每个图像块进行分类,得到{IO(x,y)}中的每个图像块对应的类别概率分布向量;再将{IO(x,y)}中的每个图像块对应的类别概率分布向量作为{IO(x,y)}中的每个图像块的局部几何特征向量,将p(x,y)的局部几何特征向量记为vp(x,y),vp(x,y)即为p(x,y)对应的类别概率分布向量,同样,对{IR(x',y')}的四周边界扩展17个像素点;然后以{IR(x',y')}中的每个像素点为中心取尺寸大小为35×35的图像块,共得到W'×H'个图像块,将{IR(x',y')}中以坐标位置为(x',y')的像素点为中心的图像块记为 接着采用预训练的基于Sketch Token的边缘形状分类器对{IR(x',y')}中的每个图像块进行分类,得到{IR(x',y')}中的每个图像块对应的类别概率分布向量;再将{IR(x',y')}中的每个图像块对应的类别概率分布向量作为{IR(x',y')}中的每个图像块的局部几何特征向量,将 的局部几何特征向量记为 即为 对应的类别概率分布向量,
其中,vp(x,y)的维数为(K+1)×1,K表示预训练的基于Sketch Token的边缘形状分类器中确定的边缘类别总数, 表示p(x,y)属于第1类边缘的概率值, 表示p(x,y)属于第k类边缘的概率值, 表示p(x,y)属于第K类边缘的概率值, 表示p(x,y)属于非边缘类的概率值, 表示 属于第1类边缘的概率值, 表示 属于第k类边缘的概率值, 表示 属于第K类边缘的概率值, 表示 属于非边缘类的概率值,
步骤三:计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点,进而确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块;然后计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度;接着计算{IR(x',y')}的局部边缘几何形变图,{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于 的局部几何特征向量 与 在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度;之后计算{IR(x',y')}中的每个图像块的边缘性强弱值;再利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合,得到{IR(x',y')}的局部几何失真分数,记为QLGD;
步骤四:记录从{IO(x,y)}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值,将从vp(x,y)中的前K个元素中找出的最大值对应的索引值记为sp(x,y),max,若从vp(x,y)中的前K个元素中找出的最大值为第k个元素即 则sp(x,y),max等于k;然后利用第sp(x,y),max类边缘来表示p(x,y)的边缘形状;接着在{IO(x,y)}中统计K类边缘中每类边缘表示的图像块的个数,将在{IO(x,y)}中第k类边缘表示的图像块的个数记为(k)
num ;再针对{IO(x,y)},对K类边缘中每类边缘表示的图像块的个数进行归一化处理,得到{IO(x,y)}的全局几何特征向量,记为同样,记录从{IR(x',y')}中的每个图像块的局部几何特征向量中的前K个元素中找出的最大值对应的索引值,将从 中的前K个元素中找出的最大值对应的索引值记为若从 中的前K个元素中找出的最大值为第k个元素即 则 等于k;然后利用第 类边缘来表示 的边缘形状;接着在{IR(x',y')}中统计K类边缘中每类边缘表示的图像块的个数,将在{IR(x',y')}中第k类边缘表示的图像块的个数(k)
记为num' ;再针对{IR(x',y')},对K类边缘中每类边缘表示的图像块的个数进行归一化处理,得到{IR(x',y')}的全局几何特征向量,记为(1)
其中, 等于W×H, 的维数为K×1,num 表示在{IO(x,y)}中第1类边缘表示(K)
的图像块的个数,num 表示在{IO(x,y)}中第K类边缘表示的图像块的个数, 等于(1)
W'×H', 的维数为K×1,num' 表示在{IR(x',y')}中第1类边缘表示的图像块的个数,(K)
num' 表示在{IR(x',y')}中第K类边缘表示的图像块的个数;
步骤五:计算 与 之间的JS散度;然后将 与 之间的JS散度作为{IR(x',y')}的全局几何失真分数,记为QGGD;
步骤六:计算{IR(x',y')}的网格长宽比相似度;然后将{IR(x',y')}的网格长宽比相似度作为{IR(x',y')}的显著区域保持分数,记为QSRP;
步骤七:从一个适配图像集中随机选取一部分适配图像,将这些适配图像及其客观分数向量和平均主观评分构成训练集,将剩余适配图像及其客观分数向量和平均主观评分构成测试集,其中,适配图像的客观分数向量为由按照步骤一至步骤六的过程以相同的方式计算得到的局部几何失真分数、全局几何失真分数、显著区域保持分数按序构成的向量;然后采用支持向量回归作为机器学习的方法,对训练集中的所有适配图像的客观分数向量进行训练,使得经过训练得到的回归函数值与平均主观评分之间的误差最小,拟合得到最优的权重矢量和最优的偏置项,进而构造得到支持向量回归模型;再采用支持向量回归模型对测试集中的每幅适配图像的客观分数向量进行测试,得到测试集中的每幅适配图像的客观质量评价预测值;经多次训练和测试后,将测试集中的每幅适配图像的多个客观质量评价预测值的平均值作为最终客观质量评价预测值。
2.根据权利要求1所述的一种基于几何失真度量的图像适配质量评价方法,其特征在于所述的步骤二中,围绕{IO(x,y)}的四周边界以镜像反射的方式对{IO(x,y)}的四周边界扩展17个像素点;围绕{IR(x',y')}的四周边界以镜像反射的方式对{IR(x',y')}的四周边界扩展17个像素点。
3.根据权利要求1或2所述的一种基于几何失真度量的图像适配质量评价方法,其特征在于所述的步骤三的具体过程为:
步骤A1:计算{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点;然后根据{IR(x',y')}中的每个像素点在{IO(x,y)}中的匹配像素点,确定{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块,若{IR(x',y')}中坐标位置为(x',y')的像素点在{IO(x,y)}中的匹配像素点为{IO(x,y)}中坐标位置为(x,y)的像素点,那么确定 在{IO(x,y)}中的匹配图像块为p(x,y);
步骤A2:计算{IR(x',y')}中的每个图像块的局部几何特征向量与{IR(x',y')}中的每个图像块在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度,将 与在{IO(x,y)}中的匹配图像块p(x,y)的局部几何特征向量vp(x,y)之间的JS散度记为其中,dJS()表
示JS散度运算,表示vp(x,y)和 的均值向量, dKL()表示KL散度运算, 表示 中的第k个元素,
表示 中的第K+1个元素,
步骤A3:计算{IR(x',y')}的局部边缘几何形变图,{IR(x',y')}的局部边缘几何形变图中坐标位置为(x',y')的像素点的像素值等于 的局部几何特征向量 与在{IO(x,y)}中的匹配图像块的局部几何特征向量之间的JS散度;
步骤A4:计算{IR(x',y')}中的每个图像块的边缘性强弱值,将 的边缘性强弱值记为
步骤A5:利用{IR(x',y')}中的所有图像块的边缘性强弱值对{IR(x',y')}的局部边缘几何形变图进行加权融合,得到{IR(x',y')}的局部几何失真分数QLGD,其中, 作为
的加权值,β为控制参数。
4.根据权利要求3所述的一种基于几何失真度量的图像适配质量评价方法,其特征在于所述的步骤五中,计算 与 之间的JS散度的具体过程为:将 与 之间的JS散度记为 其中,dJS()表示JS散度运算,表示 和 的均值向量, dKL()表示KL散度运算,表示 中的第k个元素,
5.根据权利要求4所述的一种基于几何失真度量的图像适配质量评价方法,其特征在于所述的步骤七的具体过程为:
步骤B1:选取set组共M幅适配图像构成适配图像集,其中,每组包含由同一幅原始的图像生成的m幅适配图像,set≥1,m≥1,M=set×m且M≥100;然后从适配图像集中随机选取J幅适配图像,将随机选取的J幅适配图像及其客观分数向量和平均主观评分构成训练集,记为ΩJ,将ΩJ中的第j幅适配图像的客观分数向量和平均主观评分对应记为Q1,j和S1,j;并将剩余的N幅适配图像及其客观分数向量和平均主观评分构成测试集,记为ΩN,将ΩN中的第n幅适配图像的客观分数向量和平均主观评分对应记为Q2,n和S2,n;其中,符号 为向上取整符号,1≤j≤J,Q1,j=[QLGD,1,j,QGGD,1,j,QSRP,1,j],QLGD,1,j表示ΩJ中的第j幅适配图像的局部几何失真分数,QGGD,1,j表示ΩJ中的第j幅适配图像的全局几何失真分数,QSRP,1,j表示ΩJ中的第j幅适配图像的显著区域保持分数,N=M‑J,1≤n≤N,Q2,n=[QLGD,2,n,QGGD,2,n,QSRP,2,n],QLGD,2,n表示ΩN中的第j幅适配图像的局部几何失真分数,QGGD,2,n表示ΩN中的第j幅适配图像的全局几何失真分数,QSRP,2,n表示ΩN中的第j幅适配图像的显著区域保持分数,QLGD,1,j、QGGD,1,j、QSRP,1,j、QLGD,2,n、QGGD,2,n、QSRP,2,n为按照步骤一至步骤六的过程以相同的方式计算得到,下标“1”表示训练集,下标“2”表示测试集;
步骤B2:构造ΩJ中的每幅适配图像的客观分数向量的回归函数,将Q1,j的回归函数记为f(Q1,j), 其中,f()为函数表示形式, 为权重矢量, 为 的转置矢量,为偏置项, 为Q1,j的线性函数;
步骤B3:采用支持向量回归作为机器学习的方法,对ΩJ中的所有适配图像的客观分数向量进行训练,使得经过训练得到的回归函数值与平均主观评分之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 然后将最优的权重矢量 和最优的偏置项的组合记为 再利用最优的权重矢量
和最优的偏置项 构造支持向量回归模型,记为 其中,Ψ表示对ΩJ中的所有适配图像的客观分数向量进行训练的所有的权重矢量和偏置项的组合的集合, 表示求使得 最小时 和 的值,Qin表示支持向量回归模型的输入向量,即为适配图像的客观分数向量, 为 的转置矢量,为Qin的线性函数;
步骤B4:采用支持向量回归模型对ΩN中的每幅适配图像的客观分数向量进行测试,得到ΩN中的每幅适配图像的客观质量评价预测值,将ΩN中的第n幅适配图像的客观质量评价预测值记为Qpredict,n,Qpredict,n=f(Q2,n), 其中, 为Q2,n的线性函数;
步骤B5:重复执行步骤B2至步骤B4共number次,得到ΩN中的每幅适配图像的number个客观质量评价预测值;然后将ΩN中的每幅适配图像的number个客观质量评价预测值的平均值作为最终客观质量评价预测值;其中,number≥100。