1.基于红外信息的低光图像增强方法，其特征在于，采用计算机并按如下步骤进行：步骤1：向计算机输入低光图像和红外图像，低光图像和红外图像一一对应；

步骤2：对步骤1的进行低光图像4次对数log变换，每进行/计算一次对数log变换就获得一个log变换图像；掩码图像是和步骤1所输入的低光图像相同尺寸的单通道图像，用1表示步骤1中低光图像中像素为0的点，0表示步骤1中低光图像非零的点；

步骤3：将步骤1中的红外图像，步骤2中4张log变换图像、1张掩码图像按通道合并作为U-net网络输入，通过优化损失函数训练U-net网络，利用训练完成的U-net网络得到预增强图像；所述U-net网络带有指导分支；所述指导分支是指对公用网络做的修改；迭代优化损失函数，是指迭代训练U-net网络；

步骤4：基于步骤3获得的预增强图像，结合步骤1中红外图像和步骤2中掩码图像，输入到带有情景关注层的网络中，此步骤中，带前景关注层的网络是一个双分支网络，其中一个分支带有情景关注层，另一分支为扩张卷积层；其中，情景关注层是结合红外信息和低光信息重建低光图像像素为0的点；随后再通过对抗网络训练模式，获得最终的增强图像，并输出；所述对抗网络训练是指GAN网络对抗训练模式。

2.根据权利要求1所述的基于红外信息的低光图像增强方法，其特征在于，在步骤2中，在低光图像的基础下，通过对数log变换对低光图像进行提高亮度，经过4次不同的log变换获得初始的增强图像；其中低光图像是指在在低光环境下拍摄得到的图像，图像特点为亮度低，对比度低，以至于在图像中存在局部信息丢失的情况；局部信息丢失，是指像素为0；

log变换为传统的图像增强算法，采用1、10、100和300，这4种不同的参数获得原低光图像的

4张增强图像，其中的掩码图像是与原低光图像同宽高的单通道二值图像，其中1表示原图像像素为0的点，0表示原图像像素非0的点。

3.根据权利要求1所述的基于红外信息的低光图像增强方法，其特征在于，在步骤3中，将分别由步骤1和步骤2中4张log变换图像、红外图像、掩码图像按通道合并作为U-net网络输入，通过优化损失函数进行训练U-net网络，利用训练完成的U-net网络得到预增强图像；

其中红外图像是摄像机在红外模式下获得的，并与低光图像像素对应。

4.根据权利要求1所述的基于红外信息的低光图像增强方法，其特征在于，步骤4中，将步骤3中获得的预增强图像，结合步骤1中红外图像和步骤2中掩码图像，输入到新的双分支网络中，其中一个分支将红外图像进行卷积池化操作，获得红外特征图，另一个分支将输入的预增强图像进行卷积池化操作，获得预增强图像特征；将红外特征图，预增强图像特征以及掩码图像一同输入到前景关注层中，以此获得重建后的特征；预增强图像特征再经过四层不同的扩张卷积层，扩张率分别为2，4，8，16；最终将重建后的特征和最后一层扩张卷积层特征进行级联，经过反卷积输出最终的增强结果；，最终实现基于红外信息的低光图像增强，该双分支网络采用对抗模式进行训练，为了让网络训练更稳定，采用具有梯度惩罚项的WGAN-GP损失形式。

5.根据权利要求1至4任一所述的基于红外信息的低光图像增强方法，其特征在于，步骤2的具体步骤为：对输入数据的处理分为对数log变换；

其中计算低光图像的对数log变换公式如下：

其中，X表示低光图像，vj+1表示对数基数，Mj表示对数变换的结果，n表示对数变换函数的数量，在本方法中n为4，vj分别取1，10，100，300，分别对应了4张log变换增强图像。

6.根据权利要求1至4任一所述的基于红外信息的低光图像增强方法，其特征在于，步骤3的具体步骤为：对于利用带指导分支的U-net网络获得预增强图像其中主要包括两部分：输入图像和损失函数设计；

整个带指导分支的U-net网络结构由输入层、卷积层、激活函数、池化层、反卷积、级联及输出层组成；该网络的输入层是多张图像通道叠加产生，每一层输入通过卷积核的卷积后通过激活函数得到特征图，同一个特征图是由相同的权重卷积得到；每层卷积核的个数决定了该层的特征图个数；池化层利用图像局部相关性原理，对图片进行缩小，可以在减少数据的处理量的同时保留有用的信息；所以对前一层的特征图进行池化操作，得到的特征图个数不变，但尺寸变小；

其中U-net网络是深度学习框架，此处使用的带指导分支的U-net网络，相比公共U-net网络我们添加了一个分支；

本步骤中的网络输入是：四张log变换图像、红外图像、掩码图像，经过通道合并，所以数据纬度是256*256*14；

第一次卷积时是用32个3*3*14的卷积核，卷积两次，得到32个与原始数据同样大小的特征图，即256*256*32，接着是池化层，用2*2的池化核将前面得到的特征图缩小了一半，即

128*128*32；

第二次卷积是64个3*3*32的卷积核，卷积两次，得到64个缩小后的特征图，即128*128*

64，接着是池化层，又将上述的特征图缩小了一半，即64*64*64；

第三次卷积是128个3*3*64的卷积核，卷积两次，得到128个特征图，即64*64*128，接着是池化层，又将上述的特征图缩小了一半，即32*32*128；

第四次卷积是256个3*3*128的卷积核，卷积两次，得到256个特征图，即64*64*256，接着是池化层，又将上述的特征图缩小了一半，即16*16*256；

第五次卷积是512个3*3*256的卷积核，卷积两次，得到512个特征图，即16*16*512；

到此模型的编码过程结束，接下来网络分成两个分支：第一分支、第二分支；

第一分支，为带级联的分支，此分支输出预增强图像，具体步骤如下：

首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256，并与第四次池化前特征进行级联生成32*32*512特征图，接着用256个3*3*512卷积核卷积两次，获得32*32*256特征；

接着将上面32*32*256特征经反卷积变换到64*64*128，并与第三次池化前特征进行级联生成64*64*256特征图，接着用128个3*3*256卷积核卷积两次，获得64*64*128特征；

接着将上面64*64*128特征经反卷积变换到128*128*64，并与第三次池化前特征进行级联生成128*128*128特征图，接着用64个3*3*128卷积核卷积两次，获得128*128*64特征；

接着将上面128*128*64特征经反卷积变换到256*256*32，并与第三次池化后特征进行级联生成256*256*64特征图，接着用32个3*3*64卷积核卷积两次，获得256*256*32特征，在经过16个3*3*64卷积进行卷积，获得256*256*16特征图；

最终通过3个3*3*16卷积核获得256*256*3尺寸的预增强图片；

第二分支具体步骤如下：

首先将第五次卷积的特征16*16*512经反卷积变换到32*32*256，接着用256个3*3*256卷积核卷积，获得32*32*256特征；

接着将上面32*32*256特征经反卷积变换到64*64*128，接着用128个3*3*128卷积核卷积，获得64*64*128特征；

接着将上面64*64*128特征经反卷积变换到128*128*64，接着用64个3*3*64卷积核卷积两次，获得128*128*64特征；

接着将上面128*128*64特征经反卷积变换到256*256*32；

最终通过一个3*3*32卷积核卷积得到256*256*1的灰度图像；

以上就是整个带指导分支的U-net网络，输出为预增强图像和灰度图像；

构建带指导分支的U-net网络的模型损失函数，由三部分损失组成：第一部分损失为低光图像与对应标签图像的像素损失，第二部分损失是内容损失，第三部分损失是指导网络输出灰度图像与真实图像灰度图像的像素损失；

第一部分损失/像素损失：

即第一部分低光图像与对应自然光下图像的像素损失，，具体定义如下：

Lhole和Lvalid分别指什么？

其中，M表示和256*256单通道掩码图像，M由0或1组成，其中0的位置表示低光图像像素值不为0的位置，1的位置表示低光图像像素值为0的位置；Lhole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值；Lvalid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值；WHC分别表示标签图像的宽、高和通道数，Iout表示带分支U-net网络输出的预增强图像，Igt表示输入的原低光图像对应的自然光下的图像；

将第一部分低光图像与对应标签图像的像素损失分成两部分：通过在总损失中适当的增减Lhole的权重，平衡低光图像像素值为0的位置和非0位置的损失比例；

第二部分损失/内容损失：

将带指导分支U-net网络输出的预增强图像输入vgg-19网络，计算产生的特征图来定义内容损失，这种损失不是度量图像之间的像素差异，而是鼓励他们具有相似的特征表示；

将内容损失定义为带指导分支的U-net网络输出和目标图像的特征表示之间的欧几里德距离：其中， 表示在vgg-19CNN的第n个卷积层之后获得的特征图，WHC表示特征图的宽，高和通道数，而Pre()表示带指导分支U-net网络，Iin表示带指导分支U-net网络输入，Lcontent表示内容损失；；

第三部分损失/输出与标签的损失：

即关于带指导分支的U-net网络的指导分支损失，为输出的灰度图像和真实图像的灰度图像的像素值损失Lguide：其中G(Iin)表示带指导分支U-net网络预测的灰度图像，Iin表示带指导分支U-net网络的输入，Igt_gray表示真实图像的灰度图像，WHC表示图像的宽，高和通道数；

综上，带指导分支的U-net网络总损失可表示为：

通过迭代优化最小化目标函数 训练带指导分支的U-net网络，α，β，γ，δ表示常量值，控制各部分损失在总损失中的比例，实际中分别取1，6，0.1，1。

7.根据权利要求1至4任一所述的基于红外信息的低光图像增强方法，其特征在于，步骤4作用在于修复低光图像像素为0的位置；在步骤4中使用双分支网络作为生成器，其详细结构描述如下：本步骤网络结构由红外图像和预增强图像分别进入各自的分支，最终级联后进行反卷积输出最终增强结果；

由于有前景关注层的分支需要预增强图像的特征，所以构建带扩张卷积的分支；

带扩张卷积分支的输入为带指导分支U-net网络输出的预增强图像，数据纬度是256*

256*3，首先用32个5*5*3卷积核进行卷积，得到256*256*32特征图，接着进行池化，将特征图缩小一半，特征图变为128*128*32；

随后用64个3*3*32卷积核进行卷积，得到128*128*64特征图，接着进行池化，将特征图缩小一半，特征图变为64*64*64；

接着用128个3*3*64卷积核进行2次卷积，得到64*64*128特征图；

接下来将进行扩张卷积操作；

随后将64*64*128进行4次扩张卷积操作，其中扩张率分别为2，4，8，16，扩张卷积不会改变特征图的大小，至此特征图为64*64*128；

随后，构建带前景关注层的分支；

带前景关注层的分支的输入为红外图像，数据纬度是256*256*1，首先用32个5*5*1卷积核进行卷积，得到256*256*32特征图，接着进行池化，将特征图缩小一半，特征图变为

128*128*32；

随后用64个3*3*32卷积核进行卷积，得到128*128*64特征图，接着进行池化，将特征图缩小一半，特征图变为64*64*64；

接着用128个3*3*64卷积核进行2次卷积，得到64*64*128特征图；

随后，进行前景关注层操作，将由前序步骤得到的扩张卷积前的64*64*128特征图和前景关注层前一层特征64*64*128，以及掩码图像，这里掩码图像大小将从256*256*1缩小到

64*64*1，按如下步骤操作：

首先，将前景关注层前一层特征64*64*128变换到2*2*128*1024，因为此特征是由红外图像卷积得到的，在实际中红外成像不会受到光线昏暗的影响，红外图像不会有缺失；此层的主要思想是：通过低光图像确定掩码图像，掩码图像目的是标记处低光图像像素为0的位置，掩码图像确定前景关注层需要关注的区域，这些区域将会对应到红外特征上，在红外图像上计算这些区域与其他区域的余弦距离，通过softmax函数对余弦距离进行归一化，获得关注度评分，大小为64*64*1024，接着将扩张卷积前的特征64*64*128变换到2*2*128*

1024，此特征由预增强图像获得，然后再获得的关注度评分64*64*1024上，利用扩张卷积前的特征2*2*128*1024，进行反卷积，获得前景关注层输出特征64*64*128，此反卷积目的是利用关注度评分将为缺失部分的特征拷贝到缺失部分，以此达到恢复缺失部分的特征；

构建带前景关注层的分支，最后再利用128个3*3*128的卷积核卷积两次，得到64*64*

128特征；

接着带前景关注层的分支得到的64*64*128特征和扩张卷积后的特征64*64*128，进行级联得到64*64*256特征，然后用128个3*3*256个卷积核进行两次卷积，得到64*64*128特征；

再通过一次反卷积，得到128*128*64特征；

接着利用64个3*3*64卷积核，得到128*128*64特征；

再通过一次反卷积，得到256*256*32特征；

接着利用16个3*3*32卷积核，得到256*256*16特征；

最后再通过3个3*3*16得到最终增强图，所述最终增强图为256*256*3；本发明中的生成器，采用的是带有情景关注层的卷积神经网络；所述情景关注层的作用是修复图像中缺失区域；

关于前景关注层，结合了红外特征和预增强图像特征进行如下的处理：利用缺失部分红外特征信息，去匹配未缺失部分，得到最近似的块，以此来获得关注度评分图；然后再通过预训练图像的特征，结合关注度评分图，重建缺失区域的特征；

关于生成器的结构，卷积神经网络中情景关注层使用卷积计算缺失区域和非缺失区域的匹配分数，然后通过softmax函数对计算的匹配分数进行归一化，最后通过注意力分数和预增强图像特征，利用反卷积来重建缺失部分；而其中的带有跨步卷积的分支得到的预增强图像特征与带有前景关注层的分支得到的特征进行级联，从而限制前景关注层对未缺失区域不合理的修改；

关于判别器，；判别器输入是带情景关注层的网络(生成器)输出的最终增强图像或者是对应的实际自然光下的图像；

其中判别器的描述如下：

判别器输入是带情景关注层的网络/生成器输出的最终增强图像或者是对应的自然光下的图像，数据纬度为256*256*3，判别器中每次卷积都会使用Relu激活函数，下面不再重复；

首先使用32个5*5*3卷积核进行步幅为2的卷积，步幅为2会将卷积的数据宽高缩小一半，所有得到128*128*32特征图；

接着使用64个5*5*32卷积核进行步幅为2的卷积，得到64*64*64特征图；

再使用128个5*5*64卷积核进行步幅为2的卷积，得到32*32*128特征图；

再使用128个5*5*128卷积核进行步幅为2的卷积，得到16*16*128特征图；

最后接一个全连接层，最终获得1*1数据；

以WGAN-GP提出的损失形式作为判别器的损失，其中损失为：

LD＝D(Igt)-D(Ioutput)+10*GP    (4-1)其中LD表示判别器总损失，D表示判别网络，Igt表示实际自然光图像，，D(Igt)表示输入实际自然光图像时判别器网络的输出，Ioutput表示生成器网络的输出图像，D(Ioutput)，表示输入生成器网络的输出图像时判别器网络的输出，GP表示惩罚项；

生成器总损失函数由对抗损失、像素损失，内容损失和风格损失组成，其中：对抗损失定义为：

其中 表示生成器总损失中对抗损失，D表示判别网络，Ioutput表示生成器网络的输出图像，D(Ioutput)表示将判别器输入生成器网络的输出图像时产生的输出；风格损失：该损失使生成器网络对缺失部分产生符合实际的结果，具体形式如下：其中 表示在vgg-19 CNN的第n个卷积层之后获得的特征图，WnHnCn表示对应第n个卷积特征的宽，高和通道数；Ioutput表示最终增强图像，Igt表示与最终增强图像相对应的自然光下图像；

像素损失：

其中，M表示和256*256单通道掩码图像，M由0或1组成，其中0的位置表示低光图像像素值不为0的位置，1的位置表示低光图像像素值为0的位置；Lhole表示输出图像与标签图像在低光图像像素值为0的位置处的像素差的均值；Lvalid表示输出图像与标签图像在低光图像像素值不为0的位置处的像素差的均值；WHC分别表示标签图像的宽、高和通道数，Iout表示生成器网络输出的最终增强图像，Igt表示输入的原低光图像对应的自然光下的图像；

内容损失定义为生成器模型输出和目标图像的特征表示之间的欧几里德距离：其中， 表示在vgg-19CNN的第n个卷积层之后获得的特征图，WHC表示特征图的宽，高和通道数，Iout表示生成器网络的输出，Lcontent表示内容损失；

所以，生成器的总损失为：

缺参数的定义，请补充；

LG表示生成器总损失， Lvalid，Lhole，Lcontent，Lstyle，由上面定义的各部分损失，α，β，γ，δ，ε表示常量值，控制各部分损失在总损失中的比例，实际中分别取0.1，50，6，0.001，

0.0001。