欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020108320944
申请人: 西京学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种分层图像超分辨率方法,其特征在于,所述分层图像超分辨率方法包括:

使用图像数据集DIV2K作为训练集,基于引导滤波器对训练样本进行分层,利用公式分别将LR样本图像分为细节图像和平滑图像,将HR样本图像分为细节图像和平滑图像,并建立一一对应关系;形成了两个样本训练集,一个是细节图像样本训练集,一个是平滑图像样本训练集;

设计两个深度残差卷积网络DLRCN和DGRCN,分别用于细节图像的训练和平滑图像的训练;

分别用细节图像样本训练集对深度局部残差卷积网DLRCN进行训练,用平滑图像样本训练集对深度全局残差卷积网DGRCN进行训练;

分别用细节图像测试样本集对深度局部残差卷积网DLRCN进行训练,用平滑图像测试样本集对深度全局残差卷积网DGRCN进行训练,验证所提模型的准确性和可靠性;

所述分层图像超分辨率方法建立训练集:使用图像数据集DIV2K作为训练集,从DIV2K中选取400幅图像来构建LR-HR训练样本库;

所述分层图像超分辨率方法的图像分层利用引导图像的结构变化,对输入的图像进行引导滤波,最终输出图像既保留了输入图像的整体特征,获取引导图像的变化细节;引导滤波器的算法为引导图像I和滤波输出图像q之间是局部线性模型,在以像素点k为中心的窗口Wk中,输出图像q是引导图像I的线性变换:式中:(ak,bk)为常量,该线性模型假定当且仅当引导图像I有边缘时q才会有边缘,为了求出线性系数(ak,bk)要对滤波输入图像p进行约束;输出图像q是由输入图像p减去噪声n得到的:qi=pi-ni;

为了求出线性系数(ak,bk)的最优解,要使q和p之间的差异最小,等价为最小化窗口Wk中的代价函数:其中λ为小于1的正则化参数,公式是一个线性回归模型,最优解是:

由引导滤波器的性质知,由式qi=akIi+bk得到的引导滤波器的输出图像q,其保持了引导图像I的边缘,于是利用式Ienhance=K(I-q)+q对引导滤波器输出图像q进行细节增强:Ienhance=K(I-q)+q;

其中,Ienhance表示细节增强图像,K表示细节放大倍数,根据式Ienhance=K(I-q)+q对图像I进行分层,分为细节层Idetail和平滑层Ismooth,用公式表示如下:Idetail=Ienhance-I;

Ismooth=2I-Ienhance;

I=Idetail+Ismooth;

图像经过分层后就分为两部分,分别为细节层和平滑层,即一幅图像由细节图像和平滑图像构成,细节图像代表图像的高频部分,平滑图像代表图像的低频部分;

所述分层图像超分辨率方法建立的模型通过引导滤波器可以把一幅图像分为细节图像和平滑图像两部分,根据细节图像和平滑图像的不同特性,采用不同的网络结构对细节图像和平滑图像分别进行超分辨率重建,合并这部分的超分辨率结果,得到整幅图像的超分辨率结果;

深度局部残差卷积网DLRCN用于细节图像超分辨率重建,为局部残差卷积网,DLRCN网络结构由3部分组成,分别是:a)特征提取层Conv+PReLU:采用核尺寸为3×3×c的64个卷积核生成64个特征图,使用PReLU对特征图进行非线性变换,形成非线性特征映射图,设步长为1,c为通道数,灰度图像通道数为1,彩色图像通道数为3;

b)局部残差非线性映射层:局部残差非线性映射层由M个残差卷积块ResidualBlock串联构成,每个ResidualBlock由Conv+BN+PReLU+Conv构成:非线性映射层由M层ResidualBlock构成,每层中包含64个大小为3×3的卷积核,完成对64个特征图的滤波,并且将批量归一化BN加在卷积和PReLU之间,以解决网络内部协变量转变的问题,步长设为1;

c)反卷积层Deconv:网络末端为反卷积层,该层使用一组反卷积滤波器对输出的残差图像进行上采样;反卷积层使用5×5卷积核,步长为放大因子m;

所述分层图像超分辨率方法建立的深度全局残差卷积网DGRCN用于平滑图像超分辨率重建,DGRCN网络结构也由3部分组成,分别是:a)特征提取层Conv+PReLU:采用核尺寸为3×3×c的64个卷积核生成64个特征图,使用PReLU对特征图进行非线性变换,形成非线性特征映射图,设步长为1,c为通道数,灰度图像通道数为1,彩色图像通道数为3;

b)非线性映射层:非线性映射层由M个卷积块ConvBlock串联构成,每个ConvBlock由Conv+BN+PReLU构成:非线性映射层每层中包含64个大小为3×3的卷积核,完成对64个特征图的滤波,并且将批量归一化BN加在卷积和PReLU之间,步长设为1;

c)反卷积层Deconv:网络末端为反卷积层,该层使用一组反卷积滤波器对输出的残差图像进行上采样,反卷积层使用5×5卷积核,步长为放大因子m。

2.如权利要求1所述的分层图像超分辨率方法,其特征在于,所述深度局部残差卷积网DLRCN和深度全局残差卷积网DGRCN各层都采用PReLU作为激活函数,其输出为:f(x)=max(x,0)+amin(0,x);

用于训练的损失函数不是从低分辨率图像到高分辨率图像的端到端学习,高分辨图像y是由低分辨率图像x和残差图像v构成,残差图像v其实质是低分辨率图像所丢失的细节图像:y=x+v;

采用残差学习RL训练残差映射R(y)≈v,通过y=x+R(y)计算期望残差图像与预测残差图像之间的均方误差,损失函数定义如下:式中w和b是网络中要训练的参数,是高分辨率图像和低分辨率图像对,为了计算l(w,b)的最小值,提出的网络模型采用随机梯度下降迭代优化算法更新参数矩阵w和参数向量b,定义如下:式中,λ表示学习率,l表示参数所在的网络层序数,l(w,b)表示目标损失函数采用神经网络的前向传播和后向传导算法,利用迭代规则,训练得到预期的网络模型。

3.如权利要求1所述的分层图像超分辨率方法,其特征在于,所述分层图像超分辨率方法的模型训练采用局部残差学习思想以及跳跃连接,构成增强型残差块结构,先通过卷积层提取LR输入图像的高频特征,每经过两层卷积层,都加上前一层卷积层提取的特征图像,即残差块中所有恒等分支的输入均保持相同;将递归结构引入到残差块中,使得权重在残差块之间共享,并且模型更加紧凑,深度为d的卷积神经网络其感受野为(2d+1)×(2d+1);在网络每层选用3×3小卷积块,深度局部残差卷积网络深度为20,深度全局残差卷积网络深度为16;从DIV2K中选取400幅图像来构建LR-HR训练图像对;用所述分层图像超分辨率方法的图像分层方法,将LR-HR训练图像对分为LR-HR细节图像对和LR-HR平滑图像对,用LR-HR细节图像对对DLRCN进行训练,DGRCN训练用LR-HR平滑图像对进行训练;

所述分层图像超分辨率方法的模型测试:测试集采用四个广泛使用的基准图像测试集Set5、Set14、Urban100和BSD100进行测试,分别包含10幅、10幅、20幅和20幅图像,将测试图像分为细节图像和平滑图像,分别输入到训练好的DLRCN和DGRCN中去,将两个输出图像进行合并得到超分辨率后的图像;

用于细节图像超分辨率的DLRCN网络深度为20层,用于平滑图像超分辨率的DGRCN网络深度为16层,对于每层卷积层都使用64个大小为3×3的滤波器,对于反卷积层使用大小为5×5的滤波器,步幅等于放大因子m,图像批处理的大小为128,动量为0.9;使用0.0001的权重衰减系数和衰减率为0.9的SGD优化方法,并采用批量标准化将初始数据分布变成高斯分布;如果训练误差大小在连续6个epoch训练内固定在某一个值上不变,就停止迭代训练。

4.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1-3任意一项所述分层图像超分辨率方法,包括如下步骤:使用图像数据集DIV2K作为训练集,基于引导滤波器对训练样本进行分层,利用公式分别将LR样本图像分为细节图像和平滑图像,将HR样本图像分为细节图像和平滑图像,并建立一一对应关系;形成了两个样本训练集,一个是细节图像样本训练集,一个是平滑图像样本训练集;

设计两个深度残差卷积网络DLRCN和DGRCN,分别用于细节图像的训练和平滑图像的训练;

分别用细节图像样本训练集对深度局部残差卷积网DLRCN进行训练,用平滑图像样本训练集对深度全局残差卷积网DGRCN进行训练;

分别用细节图像测试样本集对深度局部残差卷积网DLRCN进行训练,用平滑图像测试样本集对深度全局残差卷积网DGRCN进行训练,验证所提模型的准确性和可靠性。

5.一种实施权利要求1~3任意一项所述分层图像超分辨率方法的分层图像超分辨率系统,其特征在于,所述分层图像超分辨率系统包括:训练集建立模块,用于使用图像数据集DIV2K作为训练集;

图像分层模块,用于基于引导滤波器对训练样本进行分层;

模型建立模块,用于设计两个深度残差卷积网络DLRCN和DGRCN,分别用于细节图像的训练和平滑图像的训练;

模型训练模块,用于分别用细节图像样本训练集对深度局部残差卷积网DLRCN进行训练,用平滑图像样本训练集对深度全局残差卷积网DGRCN进行训练;

模型测试模块,用于分别用细节图像测试样本集对深度局部残差卷积网DLRCN进行训练,用平滑图像测试样本集对深度全局残差卷积网DGRCN进行训练,验证所提模型的准确性和可靠性。

6.一种图像处理终端,其特征在于,所述图像处理终端搭载权利要求5所述的分层图像超分辨率系统;所述图像处理终端为医学图像终端、遥感图像终端、天文图像终端、SRA雷达图像终端、军用夜视图像终端之一。