1.一种基于条件生成对抗网络的低照度图像增强装置,其特征在于,包括:图像输入装置,用于接收输入图像,所述输入图像为低照度图像和/或其对应的高质量的亮图像;
图像处理装置,采用条件生成对抗网络即CGAN模型对低照度图像进行增强处理得到处理后的增强图像,包括:所述生成模型单元和所述判别模型单元;
所述生成模型单元采用卷积神经网络即CNN模型,所述CNN模型包括15层卷积层;所述CNN模型包括一条具有编码功能的缩小路径与一条对称的具有解码功能的放大路径;两条路径相连接构成一个深度为四层的U型结构模型;
采用跳跃连接将两条路径上位于同一层的卷积层相连接;
其中,第二卷积层与第十三卷积层相连接,使得第一、第二、第十三、第十四和第十五的卷积层组成所述U型网络模型的第一层;
第四卷积层与第十一卷积层相连接,使得第三、第四、第十一和第十二卷积层组成所述U型网络模型的第二层;
第六卷积层与第九卷积层相连接,使得第五、第六第九和第十卷积层组成所述U型网络模型的第三层;
第七和第八卷积层组成所述U型网络模型的第四层;
所述判别模型单元为一个二分类CNN模型,所述二分类CNN判别模型包括卷积层、池化层和全连接层;图像输入判别模型后,连续的进行特征提取和下采样操作,使得不同的卷积层提取图像不同尺度的特征;
图像输出装置,输出所述处理后的增强图像。
2.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置,其特征在于,所述缩小路径中还包括卷积层与池化操作层;其中,所述池化方法为最大池化,池化窗口大小为2*2,步长为2;每经过一次池化操作,图像缩小为原来的四分之一。
3.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置,其特征在于,对于放大路径,采用反卷积操作完成对图像尺寸的复原,同时由卷积层对尺寸复原后的图像做进一步的处理,并且最后一层卷积层作为输出层输出最终增强后的图像数据。
4.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置,其特征在于,低照度图像输入判别模型后,先连续的进行特征提取和下采样操作,再经过两个神经元个数分别为256和1的全连接层将卷积层提取的特征汇总输出;通过最终的输出值的大小,判别模型判别输入图像的真伪。
5.根据权利要求1-4中任一项所述的基于条件生成对抗网络的低照度图像增强装置,其特征在于,在生成模型单元和判别模型单元中加入批标准化BN(Batch Normalization)层对生成模型和判别模型进行改进,以避免所述生成模型和判别模型在训练时容易造成的梯度消失和爆炸。
6.根据权利要求5所述的基于条件生成对抗网络的低照度图像增强装置,其特征在于,在每个批标准化层后加入激活层,使用渗漏整流线性单元(Leaky ReLU)作为激活函数,其中函数的负值斜率设为0.2。
7.根据权利要求1所述的基于条件生成对抗网络的低照度图像增强装置,其特征在于,网络模型的损失函数由GAN损失函数和用于计算图像间距离的L1损失函数两部分组成。
8.根据权利要求7所述的基于条件生成对抗网络的低照度图像增强装置,其特征在于,L1损失函数用于生成模型,以减小处理后的低照度图像与参考图像的距离。
9.一种基于条件生成对抗网络的低照度图像增强方法,其特征在于,所述方法包括如下步骤:S1、由图像输入装置接收输入图像,选取一组图像,所述图像包括一张低照度图像和其对应的高质量的亮图像;将所述低照度图像输入生成模型;
S2、根据损失函数计算输出图像与所述其对应的高质量的亮图像的差距,优化器对生成模型的参数进行调整,输出增强后图像;
S3、输出的增强后图像与其对应的高质量的亮图像输入判别模型进行判别;所述判别模型提取图像特征,所述其对应的高质量的亮图像是真实的亮图像,通过所述真实的亮图像与所述增强后图像间的特征差异判断出真伪,反馈给生成模型,从而改善生成模型;
S4、反复执行步骤S2和S3,生成模型与判别模型相互对抗,最终模型之间达到平衡,从而完成训练,得到训练完成的生成模型;
S5、使用模型增强图像的过程中,判别模型不参与处理,仅将低照度图像输入已经训练完成的生成模型,不用提供相对应的高质量亮图像,由已经训练完成的生成模型输出增强后的图像。
10.根据权利要求9所述的基于条件生成对抗网络的低照度图像增强方法,其特征在于,所述改善后的生成模型所增强的低照度图像是比前一次处理的图像更加逼真的图像,据此调整判别模型的判别能力。