欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019103263552
申请人: 浙江师范大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.本发明提出了一种单幅图像超分辨率方法,其特征在于包括离线的训练阶段和在线的放大阶段,其中的离线的训练阶段包括如下步骤:输入A:大量的高分辨率的图像,低分辨率图像的放大因子sf×sf,

输出A:主成分分析法使用的变换矩阵Tl,低分辨率的字典Dl,大量的由低分辨率特征块和高分辨率特征块对组成的集合 低分辨率字典的第k列的字典原子所对应的投影矩阵Pk,步骤A1)对输入的高分辨率图像进行滤波和下采样因子为sf×sf的下采样,得到其所对应的低分辨率的图像,再对低分辨率的图像进行双三次插值,得到初始的放大的高分辨率的图像,对输入的高分辨率图像和初始的放大的高分辨率图像进行相减操作,得到差值图像,提取低分辨率图像上的图像块和高分辨率的图像上的图像块,低分辨率的图像块的大小为sl×sl,高分辨率的图像块的大小为sh×sh,相邻的低分辨率图像块的重叠区域为sl×so,把提取的低分辨率图像上的图像块和所对应的差值图像上的图像块加入到图像块对集合中,对下一幅训练的高分辨率图像进行如上的操作,直到对训练的高分辨率图像中的所有图像都完成了以上操作为止,得到由低分辨率的图像中的图像块PLi和所对应的差值图像中的高分辨率的图像块PHi所组成的图像块对集合,即 这里M为此步骤完成后得到的图像块对的数目,步骤A2)对步骤A1中得到的所有低分辨率图像块,利用主成分分析方法,进行降维操作,使维数为(sl)2的低分辨率的图像块PLl的维数降低为nl维,得到变换矩阵Tl和降维之后的低分辨率的图像特征块 对步骤A1中得到的所有高分辨率图像块,利用主成分分析方法,进行降维操作,使维数为(sh)2的高分辨率的差值图像块的维数降低为nh维,得到降维之后的高分辨率的图像特征块 这样,可以得到降维之后的由图像特征块对组成的集合 步骤A3)利用步骤A2得到的集合 对如下问题进行求解,这里,Dl为待求的低分辨率的字典,β为稀疏系数矩阵变量,X为由所有低分辨率的图像特征块 所组成的矩阵,其中特征块 经过矢量化之后的矢量组成矩阵X的第i列,即在特征块 中的第m行第n列的元素为矩阵X的第i列中的第(m×Nh+n)个元素,其中,Nh为特征块的每行中的元素的个数,dk为低分辨率字典Dl的第k列构成的向量,λ1为需要由大量实验来优化确定的平衡参数,K为矩阵X的列数,||A||2为矩阵A的2范数,(d)T为向量d的转置,||d||2为向量d的2范数,有 βi向量为矩阵β中的第i列,||βi||0为向量βi的0范数,即βi向量中所有不为零的元素的个数,K1为稀疏度约束,为需要通过实验来优化确定的参数,符号为数学中的任给的符号,s.t.为数学中的subject to的符号,表示后续项为约束条件,即,问题(2)的含义为在满足条件1:对任意的k, 和条件2:对任意的i,||βi||0≤K1,这两个条件的情况下,以低分辨率字典Dl和稀疏系数矩阵β为变量,最小化目标函数这里,先固定低分辨率的字典Dl,以β为变量,最小化此目标函数,此时, 和 固定,只l需优化 由于D固定,这个问题转化为求解稀疏系数问题,可以采用最优匹配方法(optimal matching pursuit,OMP)来求解,然后,固定稀疏系数β,以Dl为变量,最小化此目标函数,可以采用梯度下降法来求解这一问题,然后,不断地固定一个变量,优化另一个变量来求解这一问题,直到求解收敛或求解达到预定的精度或次数,这时,可以输出优化的求l解出的低分辨率字典D,完成步骤A3,

步骤A4)在得到优化的低分辨率的字典之后,对字典中的每一列,需要求解沟通低分辨率和高分辨率特征块的投影矩阵,不同于传统方法,在所提出的方法中,提出利用权值矩阵,采用如下描述的方法来求解投影矩阵,对于低分辨率字典中的每一个原子 采用相关性在低分辨率块特征集合 中找到和 最近的L个低分辨率的特征块,这些块组成集合 通过这些特征块可以构成低分辨率特征块矩阵 即同时,这些特征块的中心为 在步骤A2得到的训练集合中找到和以上这L

个低分辨率的特征块对应的高分辨率特征块,这些特征块可以组成集合 并且通过这些特征块可以构成高分辨率特征块矩阵 由于 与 的聚类中心 具有较高的相似性,因此 中的每个特征块与 的聚类中心 的距离度量可以利用如下公式(3)中的欧式距离得出,

这里 是低分辨率特征块矩阵 中的任意一列,Si表示此列与其聚类中心 的欧氏距离,因此利用Si,可以得到所提出的权值矩阵Wk,并且此矩阵可以由如下公式(4)得出,这里Wk表示的是从 到 更详尽的投影关系,最后,投影矩阵Pk可以由以下公式(6)得出,

其中 这些投影矩阵Pk可以离线进行计算,然后存储起来,供在线放大时使用,

至此,得到了低分辨率的字典Dl,大量的由低分辨率特征块和高分辨率特征块对组成的集合 低分辨率字典的第k列的字典原子所对应的投影矩阵Pk,即,得到了训练阶段所要求的所有的输出,所提出的方法中的在线的放大阶段包括如下步骤:

输入B:待放大的低分辨率的图像Il,放大因子sf×sf,训练阶段得到的图像特征块对集合 低分辨率的字典Dl,低分辨率字典的第k列的字典原子所对应的投影矩阵Pk,输出B:放大的高分辨率的图像,步骤B1)对于一幅低分辨率的图像Il,首先利用双三次插值方法将它放大到与高分辨率图像相同的尺寸的到被插值放大的图像 然后进一步将图像 进行分块和矢量化得到然后,对低分辨率的图像Il进行分块和利用主成分分析法进行特征提取得到特征块,对特征块进行矢量化可以得到矢量 其中1≤i≤Np,即图像Il被划分为Np个图像块,这里使用的提取图像块特征的主成分分析法和训练阶段的步骤A1的过程中使用的主成分分析法相同,对图像块矢量化的方法和训练阶段步骤A1的过程中使用的对图像块的矢量化的方法相同,然后,让i=1,步骤B2)对于每一个低分辨率的特征块得到的矢量 利用相关性度量在低分辨率字典Dl中找到与其关联最紧密的字典原子,即使 值最大的字典原子dl(m),其中dl(m)表示字典Dl中的第m列,步骤B3)结合dl(m)对应的投影矩阵Pm就可以利用如下的公式(7)得到高分辨率的特征块矢量 即

其中 exp(x)=ex,

步骤B4)将被插值放大后得到的块矢量 加上由(7)式求出的高分辨率特征块矢量,就可以得到重构的图像块矢量,即

对矢量 使用和矢量化相逆的过程,即由矢量获得图像块的过程,可以得到一个高分辨率的图像块,

步骤B5)i=i+1,重复以上步骤B2到步骤B4,直到i=NP,即对所有图像块都进行了以上处理,

步骤B6)在对所有的低分辨率的图像块和所有插值之后图像上的图像块都进行以上处理,获得所有高分辨率的图像块之后,可以通过组合所有的高分辨率块,并对来自相邻块之间的重叠区域进行平均来重建和获得一幅高分辨率图像。

2.如权利要求1所述的一种单幅图像超分辨率方法,其特征在于,其中的参数通过大量的实验进行如下的优化的设置:提取的图像块对的个数M=5000000,低分辨率的图像块的大小为sl×sl=3×3,图像块的重叠区域为sl×so=3×1,低分辨率的图像块PLi的维数降低为nl=5维,差值图像块的维数降低为nh=5*(sf)2维,其中sf×sf为输入的放大的倍数,平衡参数λ1=0.8,稀疏度约束K1=1024,步骤A3中求解问题的迭代次数设置为50次,步骤A4中的参数L=1024。