1.一种面向局部运动模糊的图像超分辨率方法,其特征在于,包括以下步骤:
构建面向局部运动模糊的图像超分辨率模型并训练,得到经训练的图像超分辨率模型,所述图像超分辨率模型包括图像选择模块、特征提取模块和图像重建模块,所述图像选择模块包括一个图像编码器、三个模糊置信度预测器和一个Gumbel-Softmax层,所述特征提取模块包括正标签特征提取分支、负标签特征提取分支和拼接层;
获取待重建的低分辨率图像并输入到所述经训练的图像超分辨率模型,所述低分辨率图像输入到所述图像选择模块,经过图像编码器得到不同尺度的第一编码特征图、第二编码特征图和第三编码特征图,所述第一编码特征图、第二编码特征图和第三编码特征图分别经过对应的模糊置信度预测器以及Gumbel-Softmax层,得到图像分组标签,所述图像分组标签包括正标签和负标签,正标签与模糊图像块相对应,负标签与其他图像块相对应;根据所述图像分组标签分别将所述正标签相对应的模糊图像块以及负标签相对应的其他图像块输入到所述正标签特征提取分支和负标签特征提取分支,得到正标签特征和负标签特征,所述正标签特征和负标签特征经过所述拼接层进行拼接,得到图像特征;所述图像特征经过所述图像重建模块,重建得到对应的高分辨率图像。
2.根据权利要求1所述的面向局部运动模糊的图像超分辨率方法,其特征在于,所述图像编码器包括依次连接的嵌入层、第一transformer层、第二transformer层、第三transformer层和第四transformer层;通过所述嵌入层将所述低分辨率图像划分为若干个图像块并经过所述第一transformer层生成初始特征,所述初始特征表示为,其中、和C分别表示低分辨率图像的高度、宽度和通道数,p表示图像块的大小,表示实数集合;每个图像块对应的初始特征依次经过所述第二transformer层、第三transformer层和第四transformer层,分别输出不同尺度的第一编码特征图、第二编码特征图和第三编码特征图,所述第一编码特征图、第二编码特征图和第三编码特征图分别表示为:;
;
;
其中,表示第一编码特征图,表示第二编码特征图,表示第三编码特征图,表示第二transformer层,表示第三transformer层,表示第四transformer层。
3.根据权利要求1所述的面向局部运动模糊的图像超分辨率方法,其特征在于,所述模糊置信度预测器包括多层感知机和Softmax层,所述第一编码特征图、第二编码特征图和第三编码特征图分别输入对应的模糊置信度预测器,得到对应的特征嵌入,如下式所示:;
其中,表示第一编码特征图、第二编码特征图或第三编码特征图对应的特征嵌入,表示多层感知机,表示第一编码特征图、第二编码特征图或第三编码特征图,i=1,2,3;
将所述特征嵌入输入到Softmax层,预测得到模糊置信度,如下式所示:
;
其中,表示第一编码特征图、第二编码特征图或第三编码特征图对应的模糊置信度,表示Softmax函数,因此得到概率分布;
将所述概率分布输入到Gumbel-Softmax层中进行硬决策,得到图像分组标签,如下式所示:;
其中,s表示图像分组概率,若s大于或等于阈值,则图像分组标签为正标签,若s小于阈值,则图像分组标签为负标签,表示Gumbel-Softmax函数。
4.根据权利要求1所述的面向局部运动模糊的图像超分辨率方法,其特征在于,所述正标签特征提取分支包括第一浅层特征提取模块和深层特征提取模块,所述负标签特征提取分支包括第二浅层特征提取模块;所述第一浅层特征提取模块和第二浅层特征提取模块均包括卷积核大小为3×3的卷积层,所述负标签相对应的其他图像块经过所述第二浅层特征提取模块,得到负标签特征;所述深层特征提取模块包括依次连接的K个残差transformer模块以及卷积核大小为3×3的卷积层,所述深层特征提取模块的输入特征与所述卷积核大小为3×3的卷积层的输出特征相加,得到所述深层特征提取模块的输出特征;所述残差transformer模块包括依次连接的若干个transformer层和卷积核大小为1×1的卷积层,所述残差transformer模块的输入特征与所述卷积核大小为1×1的卷积层的输出特征相加,得到所述残差transformer模块的输出特征;所述正标签相对应的模糊图像块经过所述第一浅层特征提取模块,提取得到浅层特征,所述浅层特征输入到所述深层特征提取模块,提取得到深层特征,所述浅层特征与所述深层特征相加,得到所述正标签特征。
5.根据权利要求1所述的面向局部运动模糊的图像超分辨率方法,其特征在于,所述图像重建模块包括依次连接的卷积核大小为3×3的卷积层和亚像素卷积层。
6.根据权利要求1所述的面向局部运动模糊的图像超分辨率方法,其特征在于,所述图像超分辨率模型的训练过程中使用的总损失函数L表示为:;
其中,表示修剪损失,表示重建损失;
所述修剪损失表示为:
;
其中,表示权重系数,Cross-Entropy表示交叉熵损失函数,表示第一编码特征图、第二编码特征图或第三编码特征图对应的模糊置信度,i=1,2,3,表示通过Down-Sample对模糊掩码进行下采样得到的与第一编码特征图、第二编码特征图或第三编码特征图对应的模糊置信度的分辨率相匹配的数值;所述模糊掩码中采用像素1标记低分辨率图像中的模糊区域,采用像素0标记低分辨率图像中的其他区域;
所述重建损失表示为:
;
;
;
其中,和分别表示锐化的真实高分辨率图像和重建得到的高分辨率图像,、SSIM和FFT分别表示损失、结构相似性损失和傅里叶变换损失,表示基础重建损失,表示重建损失的权重,、和表示基础重建损失的权重系数。
7.一种面向局部运动模糊的图像超分辨率装置,其特征在于,包括:
模型构建模块,被配置为构建面向局部运动模糊的图像超分辨率模型并训练,得到经训练的图像超分辨率模型,所述图像超分辨率模型包括图像选择模块、特征提取模块和图像重建模块,所述图像选择模块包括一个图像编码器、三个模糊置信度预测器和一个Gumbel-Softmax层,所述特征提取模块包括正标签特征提取分支、负标签特征提取分支和拼接层;
重建模块,被配置为获取待重建的低分辨率图像并输入到所述经训练的图像超分辨率模型,所述低分辨率图像输入到所述图像选择模块,经过图像编码器得到不同尺度的第一编码特征图、第二编码特征图和第三编码特征图,所述第一编码特征图、第二编码特征图和第三编码特征图分别经过对应的模糊置信度预测器以及Gumbel-Softmax层,得到图像分组标签,所述图像分组标签包括正标签和负标签,正标签与模糊图像块相对应,负标签与其他图像块相对应;根据所述图像分组标签分别将所述正标签相对应的模糊图像块以及负标签相对应的其他图像块输入到所述正标签特征提取分支和负标签特征提取分支,得到正标签特征和负标签特征,所述正标签特征和负标签特征经过所述拼接层进行拼接,得到图像特征;所述图像特征经过所述图像重建模块,重建得到对应的高分辨率图像。
8.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6中任一所述的方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。