欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019103326941
申请人: 浙江师范大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多层岭回归的单幅图像超分辨率方法,其特征在于包括离线的训练阶段和在线的放大阶段,其中的离线的训练阶段包括如下步骤:

输入A:大量的高分辨率的图像,图像放大的倍数sf×sf,输出A:第一层的主成分分析方法的变换矩阵Tl1,第二层的主成分分析法的变换矩阵K1 K1

Tl2,第1层训练得到的各类中心xc ,第1层各类的投影矩阵F ,第2层训练得到的各类中心K2 K2xc (2),第2层训练得到的各类的投影矩阵F (2),步骤A1)在第一层训练阶段中,将原始高分辨率图像IH进行滤波和下采样处理得到对应的低分辨率图像IL,通过对IL进行双三次插值得到初始的高分辨率图像Ibic,将IH与Ibic相减,并对相减之后得到的图像进行分块,得到图像块plm,对图像块plm进行矩阵化,得到矩阵ibm,其中m表示得到的第m个这样的矩阵,对图像块p1进行矩阵化得到的矩阵M1,其中M1和p1存在如下的关系:p1中的(i,j)位置处的值为矩阵M1中(i,j)位置处的值,然后,对此矩阵ibm进行按行矢量化操作得到列矢量ivm,对矩阵MA进行按行矢量化后可以得到矢量VE,其中矩阵MA中第i行第j列的元素为矢量VE中的第i*Nh+j个元素,其中Nh为矩阵MA每行中元素的个数,对所有的输入的高分辨率图像都进行了以上处理,得到对应的大量的图像块列矢量ichm,其中m表示第m个这样的矢量,所有的列矢量ichm可以组成图像块列矢量集合 并以此作为高分辨率特征集,步骤A2)然后,将图像Ibic进行分块,并对得到的每一图像块,利用四个模板G=[1,0,‑T T T T

1]、L=(1,0,‑2,0,1)、G=[1,0,‑1]、L=(1,0,‑2,0,1) ,逐个对其进行滤波处理,可以得到滤波后的四个图像块,对这四个图像块矩阵化之后得到矩阵 和 其中m表示第m个图像块,然后把这四个图像块矩阵按行进行矢量化得到列矢量和 和对这四个列矢量堆叠得到图像块特征列矢量icm,其中 为矢量 的转置,1≤i≤4,

步骤A3)在对所有图像都进行了以上处理之后,对所有的图像块特征列矢量icm进行主成分分析,principle component analysis,得到变换矩阵Tl1,并且对所有的矢量icm利用主成分分析法降维处理后得到矢量icdm,所有的矢量icdm组成的集合为特征集步骤A4)然后,利用K‑均值(K‑means)方法对以上得到的矢量ichm和icdm配对得到的矢量对(ichm,icdm)进行聚类,得到K个类的一一对应的矩阵对 与 1≤K1≤K,其中中第K1类里的每个矢量ichm形成相对应的矩阵 的一列, 中第K1类的每个矢量icdm形成相对应的矩阵 的一列,接着,对第K1类,可以确定其和 相对应的类中心,即其中 为矩阵 的第i列,NK1为矩阵 中列的个数,然后,通过公式(3),并在此公式中令k=K1, 可以得到第一层训练阶段所得到的K个映射矩阵FK1,1≤K1≤K,即

步骤A5)在第二层训练中,对第一层训练时每一幅图像中的矢量icdm,找到距离其最近K1 K1(m)

的类中心xc (m),然后对矢量icdm与对应的类映射矩阵F 相乘得到矢量icdvm,即icdvmK1(m)

=F ·icdm,从矢量icdvm可以得到对应的图像块Bl(m),当对这幅图像上提取的所有矢量icdm都经过了如上的操作后,可以把所有的对应的Bl(m)按其在图像中的位置组合起来构成一幅图像Il2,其中块与块之间重叠的区域使用取平均值的方法获得其像素值,将图像Il2与对应的图像Ibic作和后的图像ITrained1作为第二层的训练的低分辨率图像,这样,通过以上操作,可以得到和第一层训练中数目相同的训练图像,将图像ITrained1进行分块,并对得T T T到的每一图像块,利用四个模板G=[1,0,‑1]、L=(1,0,‑2,0,1)、G=[1,0,‑1] 、L =(1,T

0,‑2,0,1) ,逐个对其进行滤波处理,可以得到滤波后的四个图像块,对这四个图像块矩阵化之后得到矩阵 和 其中m表示第m个图像块,2表示第2个层次,然后把这四个图像块矩阵按行进行矢量化得到列矢量 和 对这四个列矢量堆叠得到图像块特征列矢量icm(2),

在对所有图像都进行了以上处理之后,对所有的图像块特征列矢量icm(2)进行主成分分析,principle component analysis,得到变换矩阵Tl2,并且对所有的icm(2)利用主成分分析法降维处理后得到矢量icdm(2),所有的矢量icdm(2)组成的集合为特征集将ITrained1与输入的原始的高分辨率图像IH作差,并对相减之后得到的图像进行分块,得到图像块plm(2),对图像块plm(2)进行矩阵化,得到矩阵ibm(2),其中m表示得到的第m个这样的矩阵,然后,对此矩阵进行按行矢量化操作得到列矢量ivm(2),对所有的输入的高分辨率图像都进行了以上处理,得到对应的大量的图像块列矢量ichm(2),其中m表示第m个这样的矢量,所有的列矢量ichm(2)可以组成图像块列矢量集合 并以此作为高分辨率特征集,

步骤A6)然后,利用K‑均值(K‑means)方法对 与 中的图像特征块矢量对(ichm(2),icdm(2))进行聚类,得到K2个类的一一对应的矩阵对 与 1≤K2≤K,其中 中第K2类里的每个矢量形成相对应的矩阵 的一列, 中第K2类的每个矢量形成相对应的矩阵 的一列,接着,对第K2类,可以确定其和 相对应的类中心,即 其中 为矩阵 的第i列,NK2为矩阵 中列的个数,

步骤A7)根据式(3),并在其中令k=K2, 得到第二层训练阶段的映射矩阵FK2,1≤K2≤K,即

最后将各层的PCA变换矩阵、各类的聚类中心、以及各类的映射矩阵、保存以参与后续的重建阶段的计算,至此训练阶段结束,

其中的在线放大的阶段包括如下步骤:

输入B:要超分辨率放大的低分辨率图像IINPUT,放大因子sf×sf,第一层的主成分分析方法的变换矩阵Tl1,第二层的主成分分析法的变换矩阵Tl2,第1层训练得到的各类中心xcK1,第1层各类的投影矩阵FK1,第2层训练得到的各类中心xcK2(2),第2层训练得到的各类的投影矩阵FK2(2),输出B:一幅放大sf×sf倍的高分辨率的图像Ifina1,步骤B1)在第一层中,对于输入的低分辨率图像IINPUT先进行双三次插值得到IMIDDLE,对得到的图像IMIDDLE进行分块,得到图像块oplm,对得到的每一图像块oplm,利用四个模板G=T T T T[1,0,‑1]、L=(1,0,‑2,0,1)、G =[1,0,‑1] 、L=(1,0,‑2,0,1) ,逐个对其进行滤波处理,可以得到滤波后的四个图像块,对这四个图像块矩阵化之后得到矩阵 和 其中m表示第m个图像块,然后把这四个图像块矩阵按行进行矢量化得到列矢量和和 对这四个列矢量堆叠得到图像块特征列矢量oicm,对图像块特征列矢量oicm用主成分分析,principle component analysis,方法和训练阶段得到的变换矩阵Tl1进行降维,降维处理后得到矢量oicdm,K1(m) K1(m)

步骤B2)寻找和oicdm距离最近的类中心xc ,并用此类K1(m)的映射矩阵F 作映射得到图像块矢量 从图像块矢量 可以获得图像块

其中, 的第(i,j)个元素为矢量 中的第(i*No+j)个元素,No为图像块 中每行的元素的个数,对图像IMIDDLE中所有的图像块都进行了此操作后,把所有的图像块 按其在图像中的位置组合在一起,可以得到一幅图像I1,其中图像块与块之间的重叠区域用求平均值来求解,将得到的图像I1与图像IMIDDLE作和得到第一层重建的高分辨率图像ILayer1,步骤B3)在第二层重建过程中,首先将第一层重建得到的高分辨率图像ILayer1作为输入的初始低分辨率图像,将图像ILayer1进行分块,并对得到的每一图像块,利用四个模板G=T T T T[1,0,‑1]、L=(1,0,‑2,0,1)、G =[1,0,‑1] 、L=(1,0,‑2,0,1) ,逐个对其进行滤波处理,可以得到滤波后的四个图像块,对这四个图像块矩阵化之后得到矩阵和 其中m表示第m个图像块,2表示第2个层次,然后把这四个图像块矩阵按行进行矢量化得到列矢量 和 对这四个列矢量堆叠得到图像块

特征列矢量oicm(2), 对图像块特

征列矢量oicm(2),利用训练阶段得到的变换矩阵Tl2进行主成分分析中的降维处理后低分K2(m)辨率块矢量 同样地,对每一个块 根据离其最近的类中心xc (2),找到距K2(m)

离其最近的类K2(m),从第二层训练中保存的映射矩阵中确定最佳映射矩阵F (2),对图像块矢量 作映射得到对应的高分辨率块矢量 从图像

块矢量 可以得到图像块 其中, 的第(i,j)个元素为矢量中的第(i*Ni+j)个元素,Ni为图像块 中每行的元素的个数,再将所有高分辨率的块按其位置进行拼接,块与块重叠部分作平均处理,可以得到图像 与第一层处理得到的图像ILayer1作和可以得到第二层重建的高分辨率图像ILayer2,步骤B4)最后根据以下(11)式对图像ILayer2进行迭代反投影操作,以加强高分辨率和低分辨率图像间一致性,得到最终重建的高分辨率图像IFina1,其中,Iinput表示输入的低分辨率的图像,H表示高分辨率图像上的滤波操作,S为下采样矩阵,Xt表示经过t次迭代后得到的高分辨率图像,对图像ILayer2进行矩阵化可以得到矩阵X0,↑(sf×sf)表示对图像进行上采样sf×sf倍,p表示高斯滤波器中的系数矩阵,符号表示卷积操作,把经过Im次迭代后的结果 作为最终的输出的高分辨率图像Ifina1。

2.如权利要求1所述的一种单幅图像超分辨率方法,其特征在于,其中的参数通过大量的实验进行如下的优化的设置:提取的图像块对的个数M=5000000,实验中所有的超分辨率图像的放大因子皆为3×3,实验中所有提取的图像块的大小均为9×9,相邻两个图像块之间的重叠像素为6个像素点,第一层训练时的聚类类别数与第二层训练阶段聚类时的类别数K相同,均为1024,公式(8)和(9)中的平衡因子设置为λ=0.2,在第一层训练和第二层训练中通过主成分分析法降低的维数为 其中nL为图像特征块矢量的维数。