1.一种新的图像超分辨率的方法,其包括离线的训练过程和在线的对图像放大的过程,利用其在线过程和离线过程所存储的训练结果,可以仅根据一幅低分辨率的图像,获得一幅高分辨率的图像,其离线的训练过程包括以下所述的步骤A1到A10,其在线的超分辨率放大的过程包括以下所述的步骤B1到B10;
由于对于离线的训练阶段和在线的训练阶段都需要进行图像块的特征提取,所以在这里先阐述在中对输入图像块Bin产生输出图像块输出矢量fout的步骤C1:C1)输入:图像块Bin,输出:图像块Bin的输出特征矢量fout,输入图像块Bin,大小为w×h,对图像块Bin进行DCT变换,得到和Bin同样大小的DCT系数块BDCT,对图像块Bin进行一阶水平梯度的运算,可以得到大小为(w‑1)×h的块Bh,对图像块Bin进行一阶垂直梯度的运算,可以得到大小为w×(h‑1)的块Bv,对图像块Bin进行二阶的Laplace算子的运算,可以得到大小为(w‑1)×(h‑1)的块BLaplace,然后,对图像块Bin进行矢量化操作,按照从上到下,从左到右的顺序把其中的元素放到矢量fin中,即Bin中的元素Bin(i,j)为矢量fin中的第w*(i‑1)+j个元素,fin的大小为(w*h)×1;对块BDCT进行矢量化操作,可以得到矢量fDCT,大小为(w*h)×1;对块Bh进行矢量化操作得到矢量fh,大小为((w‑1)*h)×1;对块Bv进行矢量化操作得到矢量fv,大小为(w*(h‑1))×1;对块BLaplace进行矢量化操作得到矢量fLaplace,大小为((w‑2)*(h‑2))T T T T T T×1;把得到的矢量进行叠加工作,得到矢量fout=[(fin) ,(fDCT) ,(fh) ,(fv) ,(fLaplace)] ,其T中f为矢量f的转置运算;
离线的训练过程的输入为大量的高分辨率的图像,输出为主成分分析法获得的变换矩阵Tl1和Tl2,低分率图像特征矢量的各类别的中心的位置矢量,每个类别训练好的神经网络,即这个神经网络中各参数都优化地确定了其数值,然后,存储输出信息供在线超分辨率放大过程使用,此过程的步骤为:h l
A1)从训练图像集中的每一幅高分辨率图像fi(x,y),提取其对应的低分辨率的图像fi(x,y),这里,采用卷积和下采样的操作得到低分辨率的图像,以模拟从高分辨率图像退化到低分辨率图像的过程,其卷积模板为截断的高斯函数:其模板大小为m1×m1,在此m1=6,w为所有模板元素累加之和,即对高分辨率的图像执行以下操作其中,sw是水平方向要放大的倍数,sh是垂直方向要放大的倍数,符号“↓”表示下采样;
A2)对得到的高分辨率图像和低分辨率图像进行分块操作,每个低分辨率图像块的大小为wl×hl,相邻的低分辨率的图像块之间的重叠区域的大小为ol×hl,则所对应的高分辨率图像块的大小为(wl*sw)×(hl*sh),这样,可以得到很多低分辨率的图像块imlow和所对应的高分辨率图像块imhigh;
A3)对所有低分辨率的图像块imlow进行特征提取的操作,把图像块imlow作为以上阐述的步骤C1中的输入,可以得到输出矢量fout1,由于矢量fout1的维数太大,不便于处理,采用主成分分析法,即principle component analysis method,对fout1进行降维,得到主成分分析法中的变换矩阵Tl1,并输出特征矢量flow1,在此flow1的维数为fout1维数的1/10,存储这个变换矩阵Tl1,供在线过程使用;
A4)对所有低分辨率的图像块iml进行双三次的插值的放大,放大倍数为sw×sh,得到图像块imm,把图像块imm作为以上阐述的步骤C1中的输入,可以得到输出特征矢量fout2,然后对fout2采用主成分分析方法进行降维,得到变换矩阵Tl2,并输出特征矢量flow2,在此flow2的维数为fout2维数的1/20,存储这个变换矩阵Tl2,供在线过程使用;
T
A5)把矢量flow1和flow2进行矢量叠加,得到低分辨率块特征矢量flow,即flow=[(flow1) ,T T(flow2) ];
A6)对高分辨率的图像块imhigh进行特征提取的操作,把图像块imhigh作为以上阐述的步骤C1中的输入,可以得到输出矢量fho,然后对矢量fho进行主成分分析降维,得到输出特征矢量fhigh,和变换矩阵Th,在此fhigh的维数为fho维数的1/10;
A7)根据所提出的“抓娃娃”的方法,对所有图像块特征矢量flow进行聚类操作,在完成聚类之后,存储所有的类别的中心点的位置,以供在线的超分辨率放大的过程使用;
所述的“抓娃娃”的方法可以阐述如下:
首先在整个特征数据中随机定点S,定点需要满足以下公式(18),
其中,Si表示除随机选定的中心点S以外的其他全部数据点,||b||2表示数据点b的2范数,计算得到所有满足如下条件的数据Si:与S的距离的2范数的平方小于或等于γ1,记录其数据的位置i,#{i}表示满足这个条件的数据点的个数,这里,要使这些满足条件的数据点的个数m大于k,即定点S周围的数据点必须足够多,该数据点S才可以作为定点,并进行下一步聚类,当选定的数据中心S不满足与其2范数的平方小于等于γ的数据点的个数大于k的条件时,该数据中心不能作为中心定点,当不满足这个条件时将会重新随机定点,直到找到满足以上公式(18)的定点,聚类过程同时要满足以下公式(19)的条件,
* * *
其中,c 表示第c 类,K为预设的每一数据点类所需的数据量,Sj(c)为第j个和点S距离最小的其他数据,seti是这些数据的所构成的集合,#(seti)表示seti中元素的个数,即只取和S点最近的K个数据点构成一个集合,这个集合中的数据点构成一类,通过预设的每类数据量K,找到与定点S的距离的2范数最小的K个Sj,将它们归为一类,并将归类后的数据定义为空数据NaN,聚类中心为该类数据点的中心位置,选定一个数据类中的数据点后,这些数据点将被剔除,不进行以后的定点聚类,进行完第一次聚类后,在选择定点时,除了满足公式(18)的条件,还需要满足以下公式(20)的条件,其中,S′j为已经被聚类的所有数据,即数据Si满足与已被聚类的所有数据S′j的距离的
2范数大于d,以保证数据聚类的独立性,由此依次进行聚类,直到聚类的类别数达到要求,或没有合适的定点聚类,此方法可以尽可能地使聚类中各类别中的数据点数为K,避免K‑means聚类方法中各类别中的数目相差太大的缺点,即在K‑means方法中,有的类别具有很多数据,有的类别具有很少的数据,对于具有过多数据的点的类,其建立的模型将趋于过拟合状态,虽然建立的模型对于其中的数据的效果较好,但是其模型的泛化能力差,对于在线过程中的新数据,其产生的误差较大,对于具有过少数据点的类,其建立的模型将趋于欠拟合状态,因为样本点太少,所建立的模型的维数和准确性不够;
A8)对每一类中的数据,训练能稀疏表示其中数据的低分辨率的字典和高分辨率的字*典,对于第c 类,将使用压缩感知中的最优匹配跟踪法,即optimal matching pursuit方l * h *法,来求取其低分辨率的字典D(c)和高分辨率的字典D(c);
A9)对每一类中的数据,确定其低分辨率的稀疏表示的系数、和高分辨率的稀疏表示的*系数,以利用这些系数训练这一类的神经网络,其中,对于第c 类,利用K‑SVD(K‑奇异值分解)方法来求解以下优化问题,得到低分辨率块的稀疏表示系数* *
其中flow(c ,m)为第c类当中的第m个低分辨率块的特征矢量,其获取方法如以上特征提取部分A5步骤所述,||x||n为矢量x的n范数,λl1表示拉格朗日乘子参数,根据实验优化地设置λl1=0.5,α为需要最小化式(12)中目标函数 的变量,αl*
(c ,m)是求解的结果,类似地,利用K‑SVD方法求解如下目标函数,得到对应的高分辨率块的稀疏表示系数* *
其中fhigh(c ,m)为第c类当中的第m个高分辨率块的特征矢量,其获取方法如以上特征提取部分A6步骤所述,λh1表示拉格朗日乘子参数,根据实验优化的设置λh1=0.5,α为需要*最小化式(13)中目标函数而求解的变量,αh(c ,m)是求解的结果;
A10)利用每一类的稀疏表示的系数,优化这一类的描述低分辨率稀疏系数和高分辨率稀疏系数之间关系的神经网络中的参数,并存储这个神经网络的参数,以供在线超分辨率放大的过程使用;
*
在所提出的方法中对每个类c ,将建立一个神经网络,用来学习这类中低分辨率的稀疏* *表示的系数αl(c ,m)和高分辨率的稀疏表示的系数αh(c ,m)之间的关系,所设计的神经网络包括三层,输入层为低分辨率的稀疏表示的系数,输出层为高分辨率的稀疏表示的系数,这里,隐含层神经元个数nh根据经验公式 得到,其中ni为输入层神经元个数,no为输出层神经元个数,δ为1到10的一个经验常数,由仿真实验来优化地确定,在此设* *置δ=5,利用这一类c中所有的低分辨率的稀疏表示的系数αl(c ,m)、和高分辨率的稀疏表*示的系数αh(c ,m),和反向传播方法,即back propagation method,来训练这个神经网络,以确定这个神经网络中各神经元中的参数;
至此,所有离线的训练阶段的实施方式已阐述清楚,下面介绍在线的仅利用输入的一幅低分辨率的图像,进行超分辨率的放大,获得一幅高分辨率的图像的步骤和方法;
B1)输入一幅低分辨率的图像,对其进行分块,每个低分辨率图像块的大小为wl×hl,相邻的低分辨率的图像块之间的重叠区域的大小为ol×hl,然后,对提取的低分辨率的图像块imLR进行以下的特征提取操作;
B2)把图像块imLR作为以上阐述的步骤C1中的输入,可以得到输出矢量ffeature1,然后采用训练阶段步骤A3得到的变换矩阵Tl1对ffeature1进行降维,得到矢量fLR1,即fLR1=Tl1*ffeature1;
B3)对低分辨率的图像块imLR进行双三次的插值的放大,放大倍数为sw×sh,得到图像块imLRm,把图像块imLRm作为以上阐述的步骤C1中的输入,可以得到输出矢量ffeature2,然后采用训练阶段步骤A4得到的变换矩阵Tl2对ffeature2进行降维,得到矢量fLR2,即fLR2=T2*ffeature2;
T
B4)把矢量fLR1和fLR2进行矢量叠加,得到低分辨率块特征矢量fLR,即fLR=[(fLR1) ,T T(fLR2) ];
B5)根据矢量fLR和训练阶段得到的各类的中心,确定离fLR距离最近的类中心,并把此类o中心所在的类c,作为矢量fLR所在的类;
B6)然后,采用K‑SVD方法求解以下式(13)中的低分辨率图像块的稀疏表示的系数其中,l o h o o
D (c)和D (c)分别为训练阶段步骤A8所获得和存储的第c类的稀疏表示的低分辨率的字典和高分辨率的字典,矩阵 表示矩阵C为矩阵A和矩阵B垂直方向叠加所产生的矩阵,fLR为以上步骤B5所获得的结果,P是提取当前高分辨率图像块和已重构的高分辨率图像上重叠区域的算子;ω是重叠区域中的元素值;β是需要通过仿真实验优化确定的参数;
在此β=1,λl1=0.5,α是低分辨率图像块的稀疏表示的系数的变量以最小化式(13)中的目标函数, 是求解结果;
o
B7)利用训练阶段步骤A10所获得的第c 类的神经网络,获得高分辨率块的稀疏表示的系数B8)利用高分辨率块的稀疏表示的系数 得到高分辨率块xh,这里,通过等式h o o
其中D (c)为以上所述的c类的高分辨率的字典,可以得到高分辨率的图像块xh;
B9)对低分辨率图像中,所有提取的低分辨率的图像块都进行了步骤B2到步骤B8的处理后,会得到很多高分辨率的图像块,把这些高分辨率的图像块进行拼接以后,就可以得到0
一幅高分辨率的图像X ,这里,对于高分辨率图像中图像块的重叠部分,采用求平均值的方法来确定其像素值;
B10)利用梯度下降的方法迭代地求解以下问题,直到所得到的解基本不变为止,最后h得到了所要的高分辨率的图像X,
其中H是卷积和下采样算子,Y为输入的低分辨率的图像,i表示其迭代求解的次数,X0
(i)为需要第i次最小化式(17)中目标函数的变量,i≥0,初始时X(0)=X ,X(i+1)为其第i+
1次的迭代的求解结果,当X(I)和X(I+1)基本相等时,停止迭代,得到了所要的高分辨率的h h图像X,即X=X(I+1)。
2.如权利要求1所述的一种新的图像超分辨率的方法,其中的根据低分辨率稀疏表示的系数获得高分辨率的稀疏表示的系数的方法;该方法可以阐述如下:o
此方法的输入为低分辨率图像块的稀疏表示的系数 利用在离线阶段存储的c类o
的训练好的神经网络,得到的输出为矢量γ(c),为了保证 的稀疏度基本不变,我们只对 中的非零位置进行优化,其优化方法如以下公式(21)所示,以得到优化的高分辨率稀疏表示的系数这里,ε为常数参数,这里根据实验取ε=0.25, 为提取 为非零位o
置并进行计算的函数,其输入和输出o(c)的关系定义为
其中,xj表示矢量x中的第j个元素,这样,可以得到输入的低分辨率图像块所对应的高分辨率图像块的稀疏表示的系数