欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019103263548
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种图像超分辨率的方法,其特征在于包含如下的训练阶段和对低分辨率图像的在线放大的阶段;

训练阶段的过程可以如下描述:

输入A:大量的高分辨率的图像,图像放大的倍数sf×sf,

输出A:主成分分析法中的变换矩阵Tl,低分辨率的字典Dl,字典原子di1为字典Dl的第i1列,和此字典原子di1对应的投影矩阵PG(di1),高分辨率的字典Dh,步骤A1)对输入的所有的高分辨率图像进行滤波和下采样处理,下采样的因子为sf×sf,得到相应的所有的低分辨率图像,对所有的低分辨率的图像和对应的高分辨率的图像进行分块,得到包含低分辨率图像块和高分辨率图像块对的集合{(pl(i2),ph(i2))|1≤i2≤N},其中pl(i2)为第i2个低分辨率的图像块,ph(i2)为第i2个高分辨率的图像块,低分辨率图像块和高分辨率图像块的个数分别为N,采用如下四个模板M1=[‑1,0,1],M2=[‑1,0,T T

1],M3=[1,0,‑2,0,1],M4=[1,0,‑2,0,1]依次对所有的低分辨率的图像块pl(i2)进行卷积操作,得到低分辨率图像块pl(i2)的高频信息,扩充图像块pl(i2)的行数,把这些高频信息加入到图像块pl(i2)扩充的行中,得到初始的低分辨率特征块,然后,对所有的初始的低分辨率特征块用主成分分析法进行降维,得到变换矩阵Tl和低分辨率图像特征块plf(i2),对低分辨率的图像块pl(i2)进行双三次插值放大处理,得到低频的高分辨率图像块,把高分辨率图像块ph(i2)和此低频的高分辨率图像块相减,得到含有高频特征信息的高分辨率图像特征块plh(i2);

步骤A2)对以下问题(1)进行求解,得到低分辨率字典Dl和对应的稀疏矩阵A,其中,Y是由低分辨率图像特征块plf(i2)所构成的矩阵,每一个低分辨率的图像特征块S×Nplf(i2)构成此矩阵的一列:Y=[y1,...,yN]∈R ,这里yi2是由plf(i2)的行的堆叠而构成的矢量,即在特征块plf(i2)中的第m行第n列的元素为矢量yi的第(m×Nl+n)个元素,其中,Nl为特征块plf(i2)的每行中的元素的个数,S是低分辨率图像特征块plf(i2)的维数,A是由稀M×N疏系数所构成的矩阵:A=[a1,...,aN]∈R ,Dl表示训练的低分辨率字典:Dl=[d1,...,dM]S×M∈R ,M表示低分辨率字典的列数,||·||F表示矩阵的Frobenius范数,dj表示字典Dl中第j列的原子, 项为引入的约束项,以增大字典原子分布的范围,设置λ1为λ1>0的参数,s.t.表示数学中的subject to,即表示后面为必须满足的约束条件,符号表示数学中任给的意义,这里表示,对任意的m,dm字典原子的二范数为1,对任意的n,矩阵A的第n列an的0范数满足小于K1的条件,即an中的非零元素的个数满足小于K1的条件,参数K1用来控制稀疏程度,然后,初始的Dl由随机选择的矩阵Y中的M个列构成,接着先固定低分辨率的字典Dl,以A为变量,最小化(1)中的目标函数,采用最优匹配方法来求解稀疏矩阵A,然后,固定稀疏系数矩阵A,以Dl为变量,最小化此目标函数,采用梯度下降法来求解更新的Dl,接着,以不断地固定一个变量,优化另一个变量的方法来求解问题(1),直到求解达到预定的迭代次数I为止,这时,可以输出优化的求解出的低分辨率字典Dl和对应的稀疏矩阵A,得到低分辨率字典Dl之后,用求伪逆的方法得出高分辨率字典,即T T ‑1

Dh=QhA(AA)         (2)

其中Qh=[q1,q2,...,qN]表示由所有高分辨率图像特征块plh(i2)的所构成的矩阵,其中矢量化的plh(i2)为矩阵Qh的第i2列qi2,即在特征块phf(i2)中的第m行第n列的元素为矢量qi2的第(m×Nh+n)个元素,Nh为plh(i2)图像块中每行的元素的个数;

步骤A3)对低分辨率字典中的第i2列,即第i2个原子di2,求解如下的问题(9)其中,di2表示第i2个字典原子,λ2是平衡重建误差与矢量a的局部性解的一个参数,是所提出的局部正则化项,G是衡量di2和字典原子之间距离的矩阵,这给字典中的每个原子提供了不同程度的自由度,对角矩阵G的定义如下:其中矩阵G中的元素gi3采用下式来求得

其中,e=di2,ci3是低分辨率字典中的第i3个距离e最近的原子,“⊙”符号表示两个矢量的点乘,|z|表示求z的绝对值,在低分辨率字典中取K个离e最近的原子,构成其邻域矩阵Nl,参数b用来调整衰减速度,对问题(9)求解可得:

因此,投影矩阵可以由下式(11)离线求解:

其中,对于di2,在低分辨率字典中取K个离其最近的原子,其位置为lk,1≤k≤K,所有这些原子在高分辨率字典的对应位置lk处的列矢量可以构成矩阵Nh,在对所有的低分辨率字典中的列,都按此步骤求得了投影矩阵之后,输出并存储这些求得的变换矩阵、投影矩阵、低分辨率字典、和高分辨率字典,就完成了离线的训练阶段;

在线的图像放大的处理过程如下:

输入B:一幅低分辨率的图像L,主成分分析法的变换矩阵Tl,训练阶段求得的低分辨率的字典Dl,高分辨率的字典Dh,以及低分辨率的字典的每一列di1所对应的投影矩阵PG(di1),输出B:一幅放大sf×sf倍的高分辨率的图像,步骤B1)对输入的低分辨率的图像进行分块,得到图像块pbl(i4),采用如下四个模板M1T T

=[‑1,0,1],M2=[‑1,0,1],M3=[1,0,‑2,0,1],M4=[1,0,‑2,0,1]依次对所有的低分辨率的图像块pbl(i4)进行卷积操作,得到低分辨率图像块pbl(i4)的高频信息,扩充pbl(i4)的行数,把这些信息加入到低分辨率图像块pbl(i4)后面的行中,得到初始的低分辨率特征块,然后,对所有的初始的低分辨率特征块,用和训练阶段A1步骤中同样的主成分分析法进行降维,得到低分辨率图像特征块pfblf(i4),矢量化pfblf(i4),可以得到低分辨率图像特征块矢量pblf(i4),对低分辨率的图像块pbl(i4)进行双三次插值放大处理得到图像块pbfl(i4),矢量化pbfl(i4),可以得到低频的高分辨率图像块矢量pblfl(i4),以上,在对某个块bl矢量化为某个矢量bv的过程中,块bl中的第m行第n列的元素为矢量bv的第(m×Nl+n)个元素,Nl为块bl的每一行的元素的个数,步骤B2)i4=1,

步骤B3)对低分辨率图像特征块矢量pblf(i4),根据向量相关性找到在低分辨率字典中的所有的列中距离pblf(i4)最近的一个列 即距离pblf(i4)最近的一个字典原子 并记下该字典原子在低分辨率字典中的位置,相应地,找到已经离线求出该字典原子 的投影矩阵 从而利用如下的公式(12)计算高分辨率图像特征块矢量xF(i4),把pblfl(i4)和xF(i4)进行相加,可以得到高分辨率图像块矢量BHV(i4),即BHV(i4)=xF(i4)+pblfl(i4)             (13)从高分辨率图像块矢量BHV(i4)得到高分辨率图像块BH(i4),即块BH(i4)中的第m行第n列的元素为矢量BHV(i4)的第(m×Nh+n)个元素,其中Nh为块BH(i4)的每一行的元素的个数,步骤B4)让i4=i4+1,对下一个低分辨率图像特征块矢量pblf(i4)进行步骤B3的处理,找到其对应的高分辨率图像块BH(i4),直到所有从低分辨率图像中提取的低分辨率特征块矢量都经过了以上步骤B3的处理为止,步骤B5)对得到的所有的高分辨率图像块,根据位置信息把它们拼接起来,对于高分辨率块的重叠区域采取求平均值的方法得到高分辨率像素的值,这样,可以得到一幅初始的高分辨率图像X0,步骤B6)对高分辨率图像利用以下的公式(14)进行迭代修正

Xt+1=Xt+((L‑DHXt)↑(sf×sf))*p       (14)

其中,L表示输入的低分辨率的图像,H表示高分辨率图像上的滤波操作,D为下采样矩阵,Xt表示经过t次迭代后得到的高分辨率图像,↑(sf×sf)表示对图像进行上采样sf×sf倍,p表示高斯滤波器中的系数矩阵,符号“*”表示卷积操作,把经过I次迭代后的结果XI作为最终的输出高分辨率图像。

2.如权利要求1中的一种图像超分辨率的方法,其特征在于:其中的参数的优化的设置,其中低分辨率和高分辨率字典的列数M=1024,低分辨率的图像块的大小设置为5×5,同一行的相邻的低分辨率图像块的重叠区域大小为5×3,在步骤A1和B1中的低分辨率特征块的维数为25×5,主成分分析法降维之后低分辨率图像特征块plf(i)的维数为3×5,问题(1)中的稀疏度约束参数K1设置为K1=M/16,问题(1)中参数λ1设置为λ1=0.1,对问题(1)求解过程中的迭代次数设置为20次,即I=20,求解gi中的参数b设置为b=11,问题(9)中参数‑5λ2设置为λ2=1×10 ,公式(14)中的高斯滤波器中的系数矩阵p的大小设置为9×9。