1.基于全1*1卷积神经网络的图像增强方法,其特征在于该方法包括以下步骤:步骤(1).图像预处理
将低质成像图像中局部图像块或者整幅图像中的像素进行重新随机排列
(PixelShuffle);所述的像素随机重排为局部重排或全局重排,二者分别针对局部图像块或者整幅图像中的像素,重新随机排列其所有像素位置顺序;
步骤(2).构建一个全1*1卷积神经网络,从输入图像中估计图像增强任务中的潜在变量
2.1构建全1*1卷积神经网络
全1*1卷积神经网络由多个1*1卷积单元叠加构成;
1*1卷积单元包括一个或者多分支的1*1卷积层;每个卷积层包括多个特征通道,可以学习不同的特征表示;卷积层之后紧跟一个非线性激活层,用以对上述卷积层输出的特征施加非线性变换,从而提高模型的非线性建模能力;
若1*1卷积单元为单分支的情形,在非线性激活层之后紧跟一个池化层;
若1*1卷积单元为多分支的情形,在非线性激活层之后紧跟一个并置层,对非线性激活层得到的特征沿着特征维进行拼接,从而构成扩维的特征表示;在并置层之后紧跟一个池化层;上述并置层和池化层的顺序可互换;
通过设置上述池化层的池化核大小为k*k,使得上述1*1卷积单元的感受野等效于k*k大卷积层的感受野;
通过设置池化层的池化核大小为(k+p-1)*(k+p-1),使得上述1*1卷积单元的感受野等效于k*k大卷积层和p*p的池化层对应网络的感受野;
2.2上述全1*1卷积网络的输入为步骤(1)像素重排后的图像;
2.3上述全1*1卷积网络的输出为图像增强任务中的潜在变量(Latent Variable);
2.4基于上述全卷积神经网络,增加损失函数层监督网络进行训练;根据图像增强任务不同,分为分类任务和回归任务;分类任务采用柔性最大损失函数(Softmax Loss);回归任务可以采用均方误差函数(Mean Square Error);训练样本采用合成的或者真实的数据集进行构建,并针对每个样本对应的潜在变量进行标注;网络训练的优化方法可以采用小批量随机梯度下降法(Mini-Batch Stochastic Gradient Descent)等方法对网络进行训练,学习权重参数;
步骤(3).上述全1*1卷积网络输出的潜在变量的后处理
针对局部图像块情形:对于整幅图像中的所有局部图像块估计对应的潜在变量,然后对于由该潜在变量构成的整幅图层,采用原始整幅图像或者其亮度通道作为引导图像,使用图像引导滤波器对上述估计出来的潜在变量图层进行滤波,从而得到具有局部平滑特性的估计结果;
针对全局图像情形:针对全局图像任意位置处估计得到的多个潜在变量,采用均值滤波器或者中值滤波器进行处理,从而得到更加鲁棒、准确的估计结果;
步骤(4).基于潜在变量估计值和成像模型的图像增强
基于上述步骤(3)估计出来的潜在变量,以及潜在变量所对应成像模型,得到利用低质图像和步骤(3)潜在变量估计出的清晰图像的数学表达式,进而计算得到增强后的结果。
2.如权利要求1所述的基于全1*1卷积神经网络的图像增强方法,其特征在于合成的样本是从清晰图像出发,基于描述受潜在变量影响的降质过程成像方程,根据给定的潜在变量值合成对应的低质成像图像。
3.如权利要求1所述的基于全1*1卷积神经网络的图像增强方法,其特征在于真实的数据集是通过采集同一场景的降质/非降质图像对构建,并通过现有技术获得对应的潜在变量值。