欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021103805197
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,包括下述步骤:教师网络预处理;

数据集预处理:将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪,生成低分辨率图像训练集;

构建学生网络,将所述低分辨率图像训练集输入所述学生网络中,输出学生网络重建的超分辨率图像;

将所述低分辨率图像训练集输入多个教师网络中,输出重建的超分辨率图像组,所述超分辨率图像组包括指标性教师超分辨率图像和感知性教师超分辨率图像;

多教师网络由两种教师网络构成,分别是:指标性教师网络、感知性教师网络,指标性教师网络为已训练好的残差特征蒸馏网络,感知性教师网络为已训练好的边缘增强超分网络;

将学生网络重建的超分辨率图像与指标性教师超分辨率图像进行像素级比对,计算L1损失;

将学生网络重建的超分辨率图像与感知性教师超分辨率图像分别通过VGG19网络后得到的特征图进行像素级比对,计算感知损失;

将感知损失和L1损失按比例计算出总损失,总损失作为网络训练误差,更新迭代训练后得到最终的学生网络模型;

将低分辨率图像输入到训练后的学生网络模型,输出最终重建的超分辨率图像。

2.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,所述教师网络包括;残差特征蒸馏网络和边缘增强超分网络。

3.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,所述构建学生网络,所述学生网络采用渐进式的并发卷积网络结构,通过卷积的形式,控制特征图的输入输出通道数进行通道分割实现知识蒸馏的操作。

4.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,所述将所述低分辨率图像训练集输入所述学生网络中,所述低分辨率图像训练集输入到第一卷积层提取低分辨率图像的粗特征,卷积后经过多个残差特征蒸馏块提取低分辨率图像的细粒度级别的特征,各个残差特征蒸馏块提取后的特征经过第二卷积层整合及第三卷积层平滑特征;

平滑后细粒度级别的特征与低分辨率图像的粗特征通过第四卷积层整合,并经过亚像素卷积放大图像,输出学生网络重建的超分辨率图像。

5.根据权利要求1所述的基于多维度知识蒸馏的轻量级图像超分辨率重建方法,其特征在于,将感知损失和L1损失按比例计算出总损失,具体表示为:Ltotal=α1L1+α2Lp

其中,α1和α2表示教师网络的损失权重,L1表示L1损失,Lp表示感知损失,I为低分辨率图像,Y为与I对应的高分辨率图像,f(.)为生成模型,g(.)为VGG19神经网络模型,W、H和C分别为低分辨率图像I和Y的宽、高和通道数。

6.一种基于多维度知识蒸馏的轻量级图像超分辨率重建系统,其特征在于,包括:教师网络加载模块、数据集预处理模块、学生网络构建模块、网络模型训练模块和重建模块;

所述教师网络加载模块用于对教师网络进行预处理及加载;

所述数据集预处理模块用于进行数据集预处理,将数据集中低分辨率图片进行数据增强、转换格式并随机裁剪,生成低分辨率图像训练集;

所述学生网络构建模块用于构建学生网络,将所述低分辨率图像训练集输入所述学生网络中,输出学生网络重建的超分辨率图像;

所述网络模型训练模块用于训练学生网络模型,将低分辨率图像输入到多个教师网络中,输出重建的超分辨率图像组,所述超分辨率图像组包括指标性教师超分辨率图像和感知性教师超分辨率图像;

多教师网络由两种教师网络构成,分别是:指标性教师网络、感知性教师网络,指标性教师网络为已训练好的残差特征蒸馏网络,感知性教师网络为已训练好的边缘增强超分网络;

将学生网络重建的超分辨率图像与指标性教师超分辨率图像进行像素级比对,计算L1损失;

将学生网络重建的超分辨率图像与感知性教师超分辨率图像分别通过VGG19网络后得到的特征图进行像素级比对,计算感知损失;

将感知损失和L1损失按比例计算出总损失,总损失作为网络训练误差,更新迭代训练后得到最终的学生网络模型;

所述重建模块用于将低分辨率图像输入到训练后的学生网络模型,输出最终重建的超分辨率图像。

7.根据权利要求6所述的基于多维度知识蒸馏的轻量级图像超分辨率重建系统,其特征在于,所述学生网络包括:特征提取部分、特征蒸馏部分、特征融合部分和图像重建部分;

所述特征提取部分设有第一卷积层,用于提取低分辨率图像的粗特征;

所述特征蒸馏部分设有多个残差特征蒸馏块,用于提取低分辨率图像的细粒度级别的特征;

所述特征融合部分设有拼接层、第二卷积层和第三卷积层,所述拼接层用于拼接提取到的特征,所述第二卷积层用于特征整合,所述第三卷积层用于平滑特征;

所述图像重建部分设有第四卷积层和亚像素卷积层,所述第四卷积层用于整合平滑后细粒度级别的特征与低分辨率图像的粗特征,所述亚像素卷积层用于放大整合后的图像,输出学生网络重建的超分辨率图像。

8.根据权利要求7所述的基于多维度知识蒸馏的轻量级图像超分辨率重建系统,其特征在于,所述残差特征蒸馏块包括并行的左分支卷积层和右分支浅层残差块,拼接层和增强空间注意力模块;

所述左分支卷积层设有一层卷积层,卷积后的特征图连接到最后的拼接层;

所述右分支浅层残差块由一层卷积层和恒等连接组成,所述恒等连接用于将卷积前后的特征图进行结合,右分支浅层残差块以递归的形式分化为左分支卷积层和右分支浅层残差块,将之前左分支浅层残差块保留的特征图与最后知识蒸馏得到的特征图通过拼接层进行拼接;

所述拼接层通过concat函数将特征图按照在通道维度上进行拼接,并通过卷积层融合特征,通过增强空间注意力模块增强特征。

9.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时实现如权利要求

1‑5任一项所述基于多维度知识蒸馏的轻量级图像超分辨率重建方法。

10.一种计算设备,包括处理器和用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现如权利要求1‑5任一项所述基于多维度知识蒸馏的轻量级图像超分辨率重建方法。