1.基于多曝光多尺度递归融合的弱光图像增强方法,其特征在于,具体按照如下步骤实施:将一个弱光图像I分别进行均匀曝光和非均匀曝光,得到均匀曝光的图像en1和非均匀曝光的图像en2;设计用于进行弱光图像增强的多曝光多尺度图像增强网络,输入图像en1、图像en2、弱光图像I进行融合、去噪、微调;构建关于用于进行弱光图像增强的多曝光多尺度图像增强网络的损失函数,调整损失函数的比例权重,得到最优增强图像的网络;对于最优增强图像的网络进行训练,得到训练后最优增强图像的网络,输入待增强弱光图像,得到弱光增强的图像;
所述设计用于进行弱光图像增强的多曝光多尺度图像增强网络,输入图像en1、图像en2、弱光图像I进行融合、去噪、微调具体过程为:步骤1、设计用于进行弱光图像增强的多曝光多尺度图像增强网络,包括多曝光特征递归融合模块、多曝光去噪增强模块、曲线微调模块;将图像en1、图像en2、弱光图像I分别输入多曝光特征递归融合模块、多曝光去噪增强模块得到12通道优势特征图Ffusion2和初步去噪图Fenhance;步骤1具体过程为:步骤1.1、设计用于进行弱光图像增强的多曝光多尺度图像增强网络,包括多曝光特征递归融合模块、多曝光去噪增强模块、曲线微调模块;所述多曝光特征递归融合模块包括两个递归融合单元,每个递归融合单元包括7个卷积层以及对应的批归一化层、退火层,用来提取出弱光图像I的特征信息,提取到的特征信息记为Sfeature;
步骤1.2、预训练好的vgg16网络对弱光图像I以及不均匀曝光图像en2进行质量评估,得到弱光图像I和不均匀曝光图像en2在执行融合过程时的权值WI和Wen2,将弱光图像I与不均匀曝光图像en2共同输入到第一个递归融合单元,结合特征信息Sfeature,通过公式(2)来产生第一个融合图像Ffusion1,由现有的预训练好的vgg16网络对Ffusion1以及均匀曝光图像en1进行质量评估,得到Ffusion1和均匀曝光图像en1在执行融合过程时的权值WFfusion1和Wen1;第一个融合图像Ffusion1与均匀曝光图像en1共同输入到第二个递归融合单元,结合特征信息Sfeature,通过公式(3)产生第二个融合图像Ffusion2:(2);
(3);
步骤1.3、所述多曝光去噪增强模块包括三个多尺度图像增强块,将弱光图像I输入一个多尺度图像增强块中,进行多尺度去噪增强,得到图像add2,同样地,均匀曝光图像en1与非均匀曝光图像en2分别输入到其他两个多尺度图像增强块中进行多尺度去噪增强,得到图像add7与图像add12;
步骤1.4、使用现有的预训练好的vgg16网络对图像add2、图像add7以及图像add12进行质量评估,得到各自的质量评估分数,将质量评估分数转化为图像add2、图像add7以及图像add12的融合权重值,表示为Wadd2、Wadd7和Wadd12,通过式(4)来对图像add2、图像add7以及图像add12进行加权融合,得到初步去噪图Fenhance;
(5);
步骤2、将12通道优势特征图Ffusion2和初步去噪增强图Fenhance输入曲线微调模块中进行微调,得到微调后的图像。
2.根据权利要求1所述基于多曝光多尺度递归融合的弱光图像增强方法,其特征在于,所述将一个弱光图像I分别进行均匀曝光和非均匀曝光,得到均匀曝光的图像en1和非均匀曝光的图像en2具体过程为:从LOL数据集中选择正常光图像,根据正常光图像统计亮度概率分布D,弱光图像I进入到多曝光产生块中,从亮度概率分布D中选择曝光度调节亮度因子d,对每个输入的弱光图像I进行均匀曝光和非均匀曝光,得到均匀曝光的图像en1和非均匀曝光的图像en2。
3.根据权利要求2所述基于多曝光多尺度递归融合的弱光图像增强方法,其特征在于,所述多曝光产生块中均匀曝光和非均匀曝光的过程如公式(1)所示:(1)
其中,input是输入的弱光图像I,avg()表示对输入图像的像素值求平均,random(D)表示从概率分布D中随机抽取一个值,random(D)/avg(input)记为曝光度调节因子d,output为多曝光产生块中的均匀曝光图像和不均匀曝光图像的输出,即en1和en2。
4.根据权利要求3所述基于多曝光多尺度递归融合的弱光图像增强方法,其特征在于,步骤2具体过程为:对12通道优势特征图Ffusion2进行通道级分割,得到四个三通道的调节因子α1,α2,α3,α4,将调节因子分别代入曲线微调的四次迭代中,用来对初步去噪图Fenhance进行辅助微调,微调的过程表示为公式(6):(6)
其中,表示上一次迭代结果;表示第i次迭代的结果;
将最后一次迭代产的得到微调后的图像,迭代次数即n取4。
5.根据权利要求4所述基于多曝光多尺度递归融合的弱光图像增强方法,其特征在于,所述构建关于用于进行弱光图像增强的多曝光多尺度图像增强网络的损失函数具体为:设计基于结构相似性损失、像素梯度损失和颜色一致性损失的损失函数,包含Lssim、Lgrad以及L1,选取权重比例对损失函数进行优化,损失函数表示如式(7)、(8)、(9):(7)
(8)
(9)
(10)
其中,GT表示网络训练过程中所使用的配对数据集中的正常光图像,和分别表示正常光参考图像GT的平均值和微调图像的平均值,和分别表示正常光参考图像GT的方差和微调图像的方差; 表示初步去噪增强图Fenhance的均值,表示Fenhance的方差;取c1 = 0.0001,c2 = 0.0009来防止分母为零,和分别为图像在水平方向和垂直方向上的梯度,表示的是Fenhance的每个像素的值;GTi表示的是正常光参考图像中的每个像素的值,K为图片中的像素数,,,分别是(7)(8)(9)式表示的三个损失函数对应的比例权重。
6.根据权利要求4所述基于多曝光多尺度递归融合的弱光图像增强方法,其特征在于,所述对于最优增强图像的网络进行训练,得到训练后最优增强图像的网络具体为:选择显存为12GB的GPU上训练,网络的优化器为ADAM优化器,并设置初始学习率为0.0003,调度器策略为学习率退火余弦策略,总共训练3000个Epoch;
将经训练得到的神经网络参数、正在训练的轮数Epoch、优化器ADAM和调度器进行保存,得到最优增强图像的网络。