1.一种图像增强方法,其特征在于,所述方法包括:
步骤1:当前图像增强模型的训练次数小于等于预设训练次数的一半时,将第一待处理图像传入第一教师模型,将第二待处理图像传入第二教师模型,分别进行处理,同时将所述第一待处理图像和第二待处理图像传入学生模型进行处理;所述第一教师模型和第二教师模型用于执行不同的图像增强任务;
步骤2:将所述第一教师模型和第二教师模型和学生模型获取的每层特征图,输入知识收集与蒸馏模块CDK处理,将教师模型和学生模型提取的相同尺度的特征用渐进式特征投影到公共特征空间,对不同尺度的特征分别进行处理;
步骤3:步骤2后,得到教师模型和学生模型输出的图像,使用L1损失计算教师模型和学生模型增强结果的差异,同时采用软对比正则化,将教师模型预测的结果作为正样本,采用退化的图片作为负样本,将学生模型生成的图像作为样本,所述学生模型在教师模型指导下学习特征;
步骤4:当前训练次数大于预设训练次数的一半时,将第一待处理图像和第二待处理图像输入学生模型,利用损失函数对学生模型进行训练;
步骤5:利用训练好的学生模型对待处理图像进行图像增强任务;
所述第一教师模型和第二教师模型和学生模型均采用Freq-UIE网络,所述Freq-UIE网络包括编码器和解码器,在所述编码器的浅层加入了输入图像的频域低频特征图,在所述编码器的深层加入了输入图像的频域高频特征图。
2.根据权利要求1所述的图像增强方法,其特征在于,所述频域低频特征图和频域高频特征图分别通过基于视觉的傅里叶处理模块获取,特征提取过程包括:(1)通过傅里叶变换将输入图像转换为傅里叶系数F,并将该系数分为实部和虚部;
(2)使用MLP Mixer 将虚部和实部图像划分成边长为P的补丁,并将它们分别展平为一维序列;
(3)通过两个通道混合器分别处理这些序列,得到实部特征和虚部特征序列;
(4)使用线性层处理完图像后,对得到的特征图提取频域信息;
(5)使用层归一化Layer Normalization、1D卷积和激活函数PRelu细化高频特征;
(6)将实部特征与虚部特征沿着特征通道维度连接起来以便模型能够同时处理到频域中实部和虚部的特征;
(7)使用3D卷积核滤波减少特征图的通道数的同时捕获特征图在时间和空间上的相关性,将3D卷积后的频域特征压缩成包含仿射数的双边网格;
(8)使用卷积网络处理原始图像,获得具有引导功能的引导图像;
(9)使用切片操作通过所述引导图像查询双边网格中的仿射变换矩阵信息,根据所述引导图像进行动态调整得到输出图像;
(10)分别用低频滤波器和高频滤波器筛选出低频信息和高频信息,得到所述频域低频特征图和频域高频特征图。
3.根据权利要求1所述的图像增强方法,其特征在于,所述知识收集与蒸馏模块CDK的处理过程包括:步骤21:将教师模型和学生模型提取的相同尺度的特征用渐进式特征PFP投影到公共特征空间,对不同尺度的特征分别进行处理;采用L1损失计算两个投影间的距离,其公式如下:其中,N为编码器总数,和分别为相应教师网络和学生网络编码器第n层PFP投影的特征图,表示第i个教师模型;
步骤22:采用双向特征匹配来约束学习到的特征,通过逆渐进式投影将教师网络的特征投影回到原始空间,使用L1损失来计算逆投影特征与原始特征的差异,其公式如下:其中,为逆投影特征操作,表示原始特征;
步骤23:计算CDK模块的总损失,定义为:
其中,表示CDK模块的总损失。
4.根据权利要求3所述的图像增强方法,其特征在于,所述步骤3计算教师模型和学生模型增强结果的差异,同时采用软对比正则化,将教师模型预测的结果作为正样本,采用退化的图片作为负样本,将学生模型生成的图像作为样本,公式如下:其中,和分别为学生模型S和教师模型Ti的预测结果,表示类的退化图像,的公式定义如下:其中分别表示预测结果、正样本和负样本,·表示点积运算,表示VGG-19特征提取,表示尺度温度,n表示负样本的总数;
此阶段总损失公式如下:
其中,表示教师模型的增强结果和学生模型的增强结果之间的差异。
5.根据权利要求1所述的图像增强方法,其特征在于,所述步骤4使用硬对比正则化,将图像的参考图像作为正样本,所有退化图像作为负样本,学生模型的图像作为样本,计算公式如下:其中,和分别为学生模型的预测结果和参考图像,代表了所有类别的退化图像;
总损失公式如下:
其中为参考图像和学生模型预测结果间的L1损失。
6.根据权利要求1所述的图像增强方法,其特征在于,所述Freq-UIE网络编码器第二层的输出与所述频域低频特征图相加。
7.根据权利要求1所述的图像增强方法,其特征在于,所述Freq-UIE网络编码器第四层的输出与所述频域高频特征图相加。
8.根据权利要求4所述的图像增强方法,其特征在于,所述的值取0.07。
9.一种图像增强装置,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1至8任一项所述的图像增强方法。
10.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1至8任一项所述的图像增强方法。