欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021100702432
申请人: 青岛大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,具体步骤包括:

S1、构建训练数据图像;

S2、构建特征蒸馏复用网络,具体过程为:S21、构建特征提取部分,使用一个卷积层来提取低分辨率图像特征;

S22、构建多层次特征蒸馏复用部分,多层次特征蒸馏复用部分由多个特征蒸馏复用部分串联组成,每一个特征蒸馏复用部分的特征信息除依次传递给下一个特征蒸馏复用部分外,还通过递归快捷连接的方式传递到多层次特征蒸馏复用部分的末端,在末端将各特征蒸馏复用部分的特征信息按通道进行合并;

S23、构建图像重建部分,图像重建部分包括两部分,第一部分是对由多层次蒸馏复用部分输入的特征通过特征融合层进行融合,并通过亚像素反卷积重建出高分辨率图像;第二部分是使用双线性插值法将步骤S1获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小,获得高分辨率低质量的图像;最后将两部分的图像进行逐像素相加,即重建出超分辨率图像。

S3、训练构建的特征蒸馏复用网络,得到最优的特征蒸馏复用网络;

S4、将低分辨率图像输入训练后的特征蒸馏复用网络,获得图像超分辨率结果。

2.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,步骤S1的具体步骤为:先收集一组高分辨率的图像数据集,再对高分辨率图像进行下采样操作,获得低分辨率图像;然后将高分辨率图像和低分辨率图像的顺序一一对应,组成成对的训练数据集。

3.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,特征提取部分使用的卷积层的卷积核为3×3,输入通道数是3,输出通道数是64。

4.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,每个特征蒸馏复用部分由沿网络传输方向依次设置的n层网络结构、通道合并层、特征融合层和通道关系建模层组成;前n‑1层网络结构均对输入的图像特征分别进行精炼操作和精细化操作,得到图像精炼特征和图像精细化特征,对得到的图像精炼特征进行特征复制操作获得复用特征,将复用特征与图像精细化特征按通道合并,合并结果作为下一层网络结构计算的输入;第n层网络结构对输入的图像特征仅进行精炼操作,得到图像精炼特征;将各层网络结构得到的图像精炼特征经通道合并层按通道进行合并,然后通过特征融合层对合并的特征进行融合;最后通过通道关系建模层采用归一化方法对通道关系建模,重新分配通道特征的权重,输出特征图。

5.根据权利要求4所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,所述精炼操作是使用一个卷积核大小为1x1的卷积层对输入的Cdist个通道特征图精炼出Cdist/2个通道特征图,得到精炼特征;所述精细化操作是使用一个卷积核大小为3x3的卷积层对输入的Cret个通道特征图精细化出Cret/2个通道特征图,得到精细化特征;所述特征复制操作是使用一个卷积核大小为3x3的、分组数量为输出通道数的分组卷积层对所在网络结构层的1x1卷积层得到的精炼特征进行复制,获得复用特征;所述特征融合层为卷积核为1x1,输入通道数为n×Cdist/2,输出通道数为64的卷积层。

6.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,步骤S3的具体训练过程为:‑4

S31,初始化特征蒸馏复用网络的训练参数,包括模型的初始学习率为2×10 ,训练批大小设置为16;

S32,选取Adam为优化器,选取的损失函数为:式子中,||*||1为L1范数, 为第i个训练样本通过本发明提出的网络生成的高分辨率图像, 为第i个训练样本的真实图像;N为训练样本数量;

步骤S33,网络加载训练图像并进行90度和180度旋转操作,增广训练数据;

步骤S34,将低分辨率图像输入特征蒸馏复用网络进行前向传播获得预估的超分辨率图像;

步骤S35,使用损失函数计算高分辨率图像和预估的超分辨率图像之间的损失值并进行误差反向传播,利用Adam优化器更新网络参数;

步骤S36,特征蒸馏复用网络训练完一次整个数据集后,使用测试集验证PSNR指标是否收敛,并且每进行500次数据集训练,学习率减半,当测试集验证的指标达到收敛,结束训练过程,否则返回执行S34步骤。

7.根据权利要求1所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,该方法所使用的重建系统包括训练数据图像模块、特征蒸馏复用网络模块、训练模块和图像超分辨率输出模块;

所述训练数据图像模块,用于将收集的高分辨率的图像数据集进行下采样操作,获得低分辨率图像,然后将高分辨率图像和低分辨率图像的顺序一一对应,组成成对的训练数据集;

所述特征蒸馏复用网络模块,包括特征提取模块、多层次特征蒸馏复用模块和图像重建模块,特征提取模块,用于对输入的图像提取低分辨率图像特征,并输出到多层次特征蒸馏复用模块;多层次特征蒸馏复用模块由多个特征蒸馏复用模块串联组成,每一个特征蒸馏复用模块的特征信息除依次传递给下一个特征蒸馏复用模块外,还通过递归快捷连接的方式传递到多层次特征蒸馏复用模块的末端;多层次特征蒸馏复用模块的末端含有一个通道合并层,用于将前面各特征蒸馏复用模块的特征信息按通道进行合并,并输出到图像重建模块;

所述图像重建模块,用于将由多层次特征蒸馏复用模块输入的特征进行融合并通过亚像素反卷积重建出的高分辨率图像,以及将特征提取模块获得的低分辨率图像上采样至与高分辨率图像具有相同像素大小的高分辨率低质量图像进行逐像素相加,重建出超分辨率图像;

所述训练模块,用于初始化特征蒸馏复用网络模块的训练参数,设置初始学习率、训练批大小、选取优化器和损失函数,获得最优的特征蒸馏复用网络模块作为图像超分辨率重建模型;

所述图像超分辨率输出模块,用于将待测低分辨率图像输入图像超分辨率重建模型,获得图像超分辨率结果。

8.根据权利要求7所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,特征蒸馏复用模块,用于对输入的图像特征进行分层提炼再合并,包括n层网络结构模块、通道合并模块、特征融合模块和通道关系建模模块,每层网络结构模块均对输入的图像特征进行精炼操作得到精炼特征,将精炼特征传递到通道合并模块;通道合并模块用于将各层网络结构模块得到的精炼特征按通道进行合并,并输出到特征融合模块;特征融合模块用于对输入的特征进行融合,并输出到通道关系建模模块;通道关系建模模块用于采用归一化方法对通道关系建模,重新分配通道特征的权重。

9.根据权利要求8所述的基于特征蒸馏复用的轻量化图像超分辨率重建方法,其特征在于,前n‑1层网络通道模块还对输入的图像特征进行精细化操作以及对所在层得到的精炼特征进行复制,得到精细化特征和复用特征,将精细化特征和复用特征进行合并作为下一层网络结构模块的输入。