欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019108894715
申请人: 浙江师范大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.本发明提出了一种图像超分辨率的方法,其特征在于:包括离线的训练过程和在线的图像超分辨率放大的过程,在离线的训练过程中,通过训练图像产生水平梯度图像块矢量中每类的中心和映射矩阵,以及垂直梯度图像块矢量中每类的中心和映射矩阵,对于在线的对低分率图像的超分辨率放大的过程,将首先提取低分辨率的图像块,然后对其进行矢量化,根据这个矢量和训练阶段存储的各类中心确定其所属的水平梯度类,并根据这个类的映射矩阵和这个矢量相乘得到一个高分辨率的矢量,对其进行反矢量化,可以得到高分辨率的水平梯度块;类似地,可以通过低分辨率的图像块矢量,确定其垂直梯度类,并根据这个类的映射矩阵和这个矢量相乘得到一个高分辨率的矢量,对其进行反矢量化,可以得到高分辨率的垂直梯度块,接着,把所有得到的高分辨率的水平梯度块拼接起来,可以得到高分辨率的水平梯度图像;把所有得到的高分辨率的垂直梯度块拼接起来,可以得到高分辨率的垂直梯度图像,接下来,根据输入的低分辨率图像、得到的高分辨率的水平梯度图像、得到的高分辨率的垂直梯度图像,采用迭代的梯度下降法和反投影法求解得到输出的高分辨率的图像。

2.如权利要求1所述的一种图像超分辨率的方法,其特征在于:离线的训练过程中构建内部图像训练集的过程包括以下步骤A1到A4,离线的对图像块矢量化、聚类、确定和存储每类的中心和映射矩阵的过程包括以下步骤B1到B7;

步骤A1)输入一幅初始图像训练集中的图像I0,把该幅图像作为初始高分辨率图像;

步骤A2)本发明把I0当作高分辨率图像来构造多层次的高分辨率图像的训练集,这里,取图像I0和它的多层次的下采样的图像作为多层次的高分辨率图像的训练集,这一过程可以用以下公式(14)来表示:Hi=(I0)↓pi  (14)

其中,Hi表示第i层的高分辨率图像训练集中的图像,↓表示下采样操作符,pi表示构造第i层高分辨率图像的下采样的比例因子,这里取p=0.98,i=1,2,...,20,即,凭借一幅顶层的高分辨率图像I0,可以构造出20层高分辨率的图像训练集中的一幅图像,每一层的分辨率在上一层的分辨率的基础上,下降了p倍,步骤A3)对构造出来的高分辨率图像训练集,把其中的图像进行模糊和下采样后得到的图像,作为低分辨率图像训练集中的图像,这一过程可以用式(15)表示:其中,Ii表示第i层的低分辨率图像,i=1,2,...,20,表示卷积运算符,Bi表示图像降质过程中的高斯模板,s表示下采样的比例因子,为了扩大低分辨率图像训练集中的图像,本发明对训练集中的初始图像进行翻转和旋转,并把翻转和旋转得到的图像也进行步骤A2到步骤A3的操作,为了增强低分辨率的初始图像,本发明使用了迭代反投影的方法对训练集的低分辨率图像进行迭代优化,即其中,表示经过t次迭代后的第i层的低分辨率图像,D表示下采样算子的矩阵,B表示高斯模板所对应的矩阵,s表示放大因子,q表示图像降质过程中的模糊矩阵所对应的滤波模板,↑表示上采样操作, 表示对第i层的低分辨率初始图像Ii进行双三次插值放大得到的图像,此迭代过程在经过T次迭代收敛后, 和 基本差不多为止, 就为第i层低分辨率的训练图像集中的图像,步骤A4)输入下一幅初始图像训练集中的图像,对其进行以上操作步骤A2和步骤A3,得到更多层次上的更多幅的高分辨率图像以及和其对应的低分辨率图像,在完成图像的训练集的构造后,需要构建低分辨率的图像块矢量、低分辨率的水平梯度矢量、高分辨率的水平梯度矢量、低分辨率的垂直梯度矢量、高分辨率的垂直梯度矢量,对这些矢量进行聚类,确定和存储每类的中心,和每类中的映射矩阵,以供在线阶段的确定水平梯度高分辨率图像和垂直梯度高分辨率图像的过程使用,包括以下步骤B1到B7;

步骤B1)对训练集中的所有图像进行此操作,对第i层获得的高分辨率图像Hi和对应的低分辨率图像Li,进行取水平梯度图像操作和取垂直梯度图像操作得到水平高分辨率梯度图像HHi、垂直高分辨率梯度图像VHi、水平低分辨率梯度图像HLi和垂直低分辨率梯度图像VLi,即有其中,符号 为卷积符号,gh为水平梯度模板,gv为垂直梯度模板,在本发明中gh=[-1,

1],gv=[-1,1]T,

步骤B2)对这些图像进行分块操作,在对图像进行分块操作时,要求在所提取的图像块中,所有层次上的高分辨率的图像块具有相同的大小,所有层次上的低分辨率的图像块具有相同的大小,分别对图像HHi、和HLi进行分块,可以得到高分辨率的水平梯度图像块BHHj和所对应的低分辨率的水平梯度图像块BHLj,其中j表示图像块的索引,分别对图像VHi、和VLi进行类似的分块操作,可以得到高分辨率的垂直梯度图像块BVHj和所对应的低分辨率的垂直梯度图像块BVLj,其中j表示图像块的索引,步骤B3)对所有层次上的训练集中得到的所有高分辨率图像和低分辨率图像进行以上步骤B1到B2所述的分块操作,步骤B4)对所有得到的图像块进行矢量化,矢量化的过程采取从上到下,从左到右提取图像块元素的方法,即,对大小为m×n的图像块Bl矢量化后可以得到矢量 其中Bl中的第i1行,第j1列中的元素为 中的第(i1-1)*m+j1个元素,这样,对所有的低分辨率水平梯度图像块BHLj进行矢量化后得到矢量 对所有的高分辨率水平梯度图像块BHHj进行矢量化后得到矢量 对所有的低分辨率垂直梯度图像块BVLj进行矢量化后得到矢量对所有的高分辨率垂直梯度图像块BVHj进行矢量化后得到矢量步骤B5)然后,对所有的水平梯度低分辨率图像块矢量 使用K-means方法进行聚类,得到其所处的类别c1,1≤c1≤K,即这些水平梯度低分辨率的图像块矢量共聚成K个类别,对于水平梯度高分辨率图像块矢量 其所属的类别为其对应的水平梯度低分辨率图像块矢量 所属的类别,接着,确定水平梯度低分辨率图像块矢量 的各类中心和映射矩阵,对于类别c1,1≤c1≤K,把这个类别中所有的低分辨率的矢量 堆叠起来,可以得到一个矩阵MHL(c1),其中每个低分辨率矢量 是其中的一列;把这个类别c1中所有的低分辨率的矢量 所对应的高分辨率矢量 按照堆叠MHL(c1)时相同的顺序堆叠起来,可以得到一个矩阵MHH(c1),这样,可以得到类别c1的映射矩阵Pc1=MHH(c1)×((MHL(c1))T×MHL(c1)+λI))-1×MHL(c1)   (18)其中,λ为需要根据实验进行优化的参数,然后,根据类别c1中所有水平梯度低分辨率矢量的中心确定类别c1的中心位置矢量步骤B6)对所有的图像块矢量 使用K-means方法进行聚类,得到其所处的类别c2,1≤c2≤K,即所有的图像块共聚成K个类别,对于类别c2,把这个类别中所有的低分辨率的矢量 堆叠起来,可以得到一个矩阵MVL(c2),其中每个低分辨率矢量 是其中的一列;

把这个类别c2中所有的低分辨率的矢量 所对应的高分辨率矢量 按照堆叠MVL(c2)时相同的顺序堆叠起来,可以得到一个矩阵MVH(c2),这样,可以得到类别c2的映射矩阵T -1

Pc2=MVH(c2)×((MVL(c2)) ×MVL(c2)+λI)) ×MVL(c2)  (19)

然后,根据类别c2中所有低分辨率矢量的中心确定类别c2的中心位置矢量

步骤B7)存储以上得到的各类的类中心 和 以及每类的映射矩阵Pc1

和Pc2。

3.如权利要求1所述的一种图像超分辨率的方法,其特征在于:在线的放大阶段的输入是一幅低分辨率的图像、和训练阶段得到的各类中心和映射矩阵,输出是一幅高分辨率的图像,其具体的实施步骤如以下步骤C1到步骤C9所述,步骤C1)对输入的低分辨率的图像进行分块,得到大小为m×n大小的低分辨率的图像块LLBj1,j1为图像中第几个图像块的索引,相邻的水平方向的图像块之间的重叠区域为m×(n-2),相邻的垂直方向的图像块之间的重叠区域为(m-2)×n,步骤C2)对此图像块LLBj1进行求水平梯度操作,可以得到水平梯度块HBj1,即其中,gh为以上所述的求水平梯度的模板,步骤C3)确定高分辨率的水平梯度块,根据在线图像中的低分辨率水平梯度块HBj1,对其进行从上到下和从左到右顺序扫描的矢量化,可以获得矢量 根据此矢量 和训练阶段存储的类别中心 找到距离其最近的类别中心和类别c1*,即*

其中, 为矢量x的二范数的平方,然后,根据矢量 和类别c1的映射矩

阵 可以得到它们相乘的矢量 即

然后,对矢量 进行反矢量化的过程,可以得到大小为(m*s)×(n*s)的高分辨率的图像块HHBj1,其中s为如上所述的放大因子,m×n为如上所述的低分辨率块的大小,即矢量中第j2个元素值为图像块HLB中的第 行,第(j2 mod m*s)列上的元素值,其中 表示小于y的最大整数,mod表示除法中的取余数操作,步骤C4)获得放大的水平梯度图像,对低分辨率图像块中的每个图像块进行了以上步骤C2和C3中所述的操作,可以得到相对应的每个高分辨率的水平梯度图像块HHBj1,然后把这些图像块拼接起来,可以得到一幅高分辨率的图像Igh,在拼接的时候,采用取权重的方法,其权重正比于图像块的均方差值,即对于块HHBo1和块HHBo2在重叠区域的像素值为:Igh(i,j)=HHBo1(m1,n1)*w1+HHBo2(m2,n2)*w2  (22)

其中,(m1,n1)为图像上第(i,j)个像素在块HHBo1中的位置索引,(m2,n2)为图像上第(i,j)个像素在块HHBo2中的位置索引,w1为块HHBo1的权重,其正比于块HHBo1中像素值的均方差w2为块HHBo2的权重,其正比于块HHBo2中像素值的均方差 且有w1+w2=1,步骤C5)对步骤C2得到的图像块LLBj1进行求垂直梯度操作,可以得到垂直梯度块VBj1,即其中,gv为以上所述的求垂直梯度的模板,

步骤C6)确定高分辨率的垂直梯度块,根据在线图像中的低分辨率垂直梯度块VBj1,对其进行从上到下和从左到右顺序扫描的矢量化,可以获得矢量 根据矢量 和训练阶*段存储的类别中心 找到距离其最近的类别中心和类别c2 ,即

然后,根据矢量 和类别c2*的映射矩阵 可以得到它们相乘的矢量 即

然后,对矢量 也进行反矢量

化的过程,可以得到大小为(m*s)×(n*s)的高分辨率的垂直梯度图像块HVBj1,步骤C7)对低分辨率图像块中的每个图像块进行了以上步骤C5和C6中所述的操作,可以得到相对应的高分辨率的垂直梯度图像块HVBj1,然后把这些图像块拼接起来,可以得到一幅高分辨率的图像Igh,在拼接的时候,采用权重的方法,其权重正比于图像块的均方差值,即对于块HVBo1和块HVBo2在重叠区域的像素值为:Igv(i,j)=HVBo1(m1,n1)*w1+HVBo2(m2,n2)*w2  (25)

其中,(m1,n1)为图像上第(i,j)个像素在块HVBo1中的位置索引,(m2,n2)为图像上第(i,j)个像素在块HVBo2中的位置索引,w1为块HVBo1的权重,其正比于块HVBo1中像素值的方差w2为块HVBo2的权重,其正比于块HVBo2中像素值的方差 且有w1+w2=1,步骤C8)根据在线过程中输入的低分辨率图像IL,采用双三次插值放大的方法,得到初始的高分辨率图像Ic,

步骤C9)根据在线过程中输入的低分辨率图像IL,以上得到的放大的水平梯度图像Igh,和放大的垂直梯度图像Igv,通过优化以下目标函数来求取最终的高分辨率的图像,即,有其中,gh和gv分别为如上所述的水平和垂直梯度提取模板,D为如上所述的下采样矩阵,B为如上所述的表示图像降质过程中的矩阵,β为一平衡参数,在求解(26)的过程中,本发明采用了一个迭代算法进行迭代优化所求图像,此迭代的初始条件为高分辨率图像Ih(0)=Ic  (27)其中0表示第0次迭代,对于式(26)中的前两项,使用梯度下降法去更新,最后一项使用迭代反投影的方法进行更新,并且这些更新要交替进行,直至收敛,收敛后的图像为输出的高分辨率的图像。