1.一种夜晚监控相机的近红外图像彩色化方法,其特征在于,在监控场景下监控相机基于双向循环生成对抗网络,利用白天场景图像进行学习训练为夜晚近红外场景图像赋色;具体包括以下步骤:步骤1、利用监控相机采集白天可见光彩色图像与夜晚近红外灰度图像,并分别建立白天可见光彩色图像的训练样本集和测试样本集,以及夜晚近红外灰度图像的训练样本集和测试样本集;
步骤2、构建双向循环生成对抗网络并进行训练;
步骤3、将夜晚近红外灰度图像的测试样本集和白天可见光彩色图像的测试样本集分别输入到训练好的双向循环生成对抗网络中,分别输出彩色结果图像和近红外结果图像;
所述彩色结果图像为夜晚近红外灰度图像的测试样本集赋色后的图像,所述近红外结果图像为白天可见光图像的测试样本集赋色后的图像。
2.根据权利要求1所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,在步骤
1中,监控相机采集白天可见光彩色图像 和夜晚近红外灰度图像 ,分别建立白天可见光彩色图像的训练样本集 和白天可见光彩色图像的测试样本集 ,夜晚近红外灰度图像的训练样本集 和夜晚近红外灰度图像的测试样本集 ;
在步骤2中,双向循环生成对抗网络包含两个生成器和两个鉴别器;其中,生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成;鉴别器由卷积模块、梯度归一化层模块组成;两个所述生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器 和白天可见光彩色图像到夜晚近红外灰度图像的生成器 ;两个所述鉴别器为近红外灰度图像鉴别器 和可见光彩色图像鉴别器;
在步骤3中,将白天可见光彩色图像的测试样本集 输入到训练好的双向循环生成对抗网络中,输出最终的近红外结果。
3.根据权利要求1所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,在步骤
2中,构建双向循环生成对抗网络并进行训练具体包括以下步骤:步骤2.1、将夜晚近红外灰度图像的训练样本集 输入到生成器 中,生成彩色近红外图像 ;同时将白天可见光彩色图像的训练样本集 输入到生成器 中,生成近红外可见光彩色图像 ;
步骤2.2、将白天可见光彩色图像的训练样本集 与彩色近红外图像 输入到鉴别器 中,计算彩色近红外图像 是真实白天可见光彩色图像的概率;同时将夜晚近红外灰度图像的训练样本集 与近红外可见光彩色图像 输入到鉴别器 中,计算近红外可见光彩色图像 是真实夜晚近红外灰度图像的概率;
步骤2.3、将彩色近红外图像 输入到生成器 中,生成重构近红外灰度图像 ;
同时将近红外可见光彩色图像 输入到生成器 中,生成重构可见光彩色图像 ;
步骤2.4、将近红外可见光彩色图像 与重构近红外灰度图像 输入到鉴别器中,计算重构近红外灰度图像 是真实夜晚近红外灰度图像的概率;同时将彩色近红外图像 与重构可见光彩色图像 输入到鉴别器 中,计算重构可见光彩色图像 是真实白天可见光彩色图像的概率;
步骤2.5、利用监控场景下采集的训练样本集对所构建的双向循环生成对抗网络按照步骤2.1‑步骤2.4通过计算对抗损失、重构损失函数来进行无监督学习训练。
4.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,所述步骤2.1中,将夜晚近红外灰度图像的训练样本集 输入到生成器 中,生成彩色近红外图像 ;同时将白天可见光彩色图像的训练样本集 输入到生成器 中,生成近红外可见光彩色图像 ,包括如下步骤:步骤2.1.1、将夜晚近红外灰度图像的训练样本集 输入到生成器 的下采样模块中,生成不同尺度的夜晚近红外图像低级特征图;
步骤2.1.2、将下采样模块的低级特征图输入至Octave卷积模块,分离出夜晚近红外灰度图像的训练样本集 低级特征的高频特征图;
步骤2.1.3、将高频特征图送入残差模块中,生成残差高频特征图;
步骤2.1.4、将低级特征图输入至多尺度自适应特征融合模块,生成不同尺度的融合特征图;
步骤2.1.5、将残差高频特征图和融合特征图输入至上采样模块,最终生成彩色结果图像;
所述步骤2.2中,将白天可见光彩色图像的训练样本集 与彩色近红外图像 输入到鉴别器 中,计算彩色近红外灰度图像 是真实白天可见光彩色图像的概率;同时将近红外可见光彩色图像 与夜晚近红外灰度图像的训练样本集 输入到鉴别器中,计算近红外可见光彩色图像 是真实夜晚近红外灰度图像的概率,包括如下步骤:步骤2.2.1、将白天场景训练样本 与彩色近红外图像 输入到鉴别器中的常规卷积中,生成低级特征图;
步骤2.2.2、将各自的低级特征图输入到梯度归一化层模块中,生成梯度低级特征图;
步骤2.2.3、将梯度低级特征图输入到Sigmoid模块中,输出n×n的矩阵,取此矩阵的均值作为真可见光/假可见光图像的结果输出。
5.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,在步骤
2.3中,将彩色近红外灰度图像 输入到生成器 中,生成重构近红外灰度图像 ;同时将近红外可见光彩色图像 输入到生成器 中,生成重构可见光彩色图像 ,包括如下步骤:步骤2.3.1、将彩色近红外图像 输入到生成器 的下采样模块中,生成不同尺度的彩色近红外图像低级特征图;
步骤2.3.2、将下采样块的低级特征图送入Octave卷积模块,分离出彩色近红外灰度图像低级特征的高频特征图,即轮廓信息;
步骤2.3.3、将高频特征图送入残差模块中,生成残差高频特征图,同时可以防止模型退化;
步骤2.3.4、将低级特征图输入到多尺度自适应融合模块,生成不同尺度的融合特征图;
步骤2.3.5、将残差高频特征图和融合特征图输入至上采样模块,最终生成重构近红外灰度结果图像。
6.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,所述步骤2.4中,将近红外可见光彩色图像 与重构近红外灰度图像 输入到鉴别器 中,计算重构近红外灰度图像 是真实夜晚近红外灰度图像的概率;同时将彩色近红外灰度图像 与重构可见光彩色图像 输入到鉴别器 中,计算重构可见光彩色图像 是真实白天可见光彩色图像的概率,包括如下步骤:步骤2.4.1、将近红外可见光彩色图像 与重构近红外灰度图像 输入至鉴别器的常规卷积中,生成低级特征图;
步骤2.4.2、将各自的低级特征图输入到梯度归一化层模块中,生成梯度低级特征图;
步骤2.4.3、将梯度低级特征图输入到Sigmoid中,输出n×n的概率矩阵,取此矩阵的均值作为真近红外/假近红外图像的结果输出。
7.根据权利要求3所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,所述步骤2.5通过计算对抗损失、重构损失函数来进行无监督训练中,通过设计的损失函数实现,采用对抗损失 、重建损失 构建的总损失进行网络训练,记总损失为L,如下式所示:;
式中,损失函数 是基于夜晚监控近红外场景图像与生成的彩色近红外图像之间的对抗博弈;损失函数 是基于白天监控可见光场景图像与生成的近红外图像之间的对抗博弈;重构损失 是重构图像与原始图像的内容损失, 代表超参数用于控制几个损失之间的权重。
8.根据权利要求7所述的夜晚监控相机的近红外图像彩色化方法,其特征在于,采用对抗损失 、重建损失 构建的总损失进行网络训练具体包括:将夜晚近红外灰度图像的训练样本集 送入生成器 中,生成彩色近红外图像,将彩色近红外图像 送入鉴别器 中,夜晚近红外灰度图像 对抗损失如下:
;
式中, 为夜晚近红外灰度图像的训练样本集 的对抗损失,
表示色彩可见光图像的期望值,B表示夜晚近红外灰度图像域,C表示白天可见光图像域, 为夜晚近红外图像的期望值, 指夜晚近红外灰度图像的训练样本集 输入至生成器 的结果,该结果为 ; 是; 输入至鉴别器的结果;
将白天可见光彩色图像的训练样本集 送入生成器 中,生成近红外可见光彩色图像 ,将 送入鉴别器 中,其白天可见光彩色图像 对抗损失如下:;
式中, 为白天可见光彩色图像的训练样本集 的对抗损失;
为夜晚近红外图像的期望值; 为彩色可见光图像的期望值; 为白天可见光图像的训练样本集 输入至生成器 的结果,该结果为 ; 是输入至鉴别器 的结果;
将 送入生成器 中生成 后,将 送至生成器 中生成重构图像,计算重构图像 与 逐像素的差异值,并减少两者图像间的损失;将送入生成器 中生成 后,将 送至生成器 中生成重构图像 ,计算重构图像 与 逐像素的差异值,并减少两者图像间的损失;重构损失如下:;
式中, 为重构损失; 为夜晚近红外灰度图像的训练样本集
输入至生成器 生成 ,后将 输入至生成器 中,即 ,也
就是 ;代表夜晚近红外灰度图像的训练样本集 ;c为白天可见光图像的训练样本集 ;
指白天可见光图像的训练样本集 输入至生成器 生成 , 即指代为式中 ;后将 输入至生成器 中,即 ,也就是 ;
总损失是由 的对抗损失、 的对抗损失及重构损失加权组成,如下:;
式中, :总损失函数; 夜晚近红外灰度图像的训练样本集
的对抗损失; 白天可见光彩色图像的训练样本集 的对抗损
失;
重构损失;将 送入生成器 中生成 后,将 送至生
成器 中生成重构图像 ,计算重构图像 与 逐像素的差异值,并减少两者图像间的损失;将 送入生成器 中生成 后,将 送至生成器 中生成重构图像 ,计算重构图像 与 逐像素的差异值,并减少两者图像间的损失。
9.一种实施权利要求1‑8任意一项所述夜晚监控相机的近红外图像彩色化方法的夜晚监控相机的近红外图像彩色化系统,其特征在于,该系统包括:数据集建立模块,用于利用监控相机,在白天采集可见光彩色图像 ,在夜晚采集近红外灰度图像 ,分别建立夜晚近红外灰度图像的训练样本集 和测试样本集,白天可见光彩色图像的训练样本集 和测试样本集 ;
双向循环生成对抗网络构建及训练模块,用于构建双向循环生成对抗网络并进行训练,所述双向循环生成对抗网络包含两个生成器和两个鉴别器;其中,生成器由三个下采样模块、四个多尺度自适应特征融合模块、Octave卷积模块、六个残差模块、三个上采样模块组成,鉴别器由常规卷积模块、梯度归一化层模块组成;所述两个生成器为夜晚近红外灰度图像到白天可见光彩色图像的生成器 和白天可见光彩色图像到夜晚近红外灰度图像的生成器 ;所述两个鉴别器为近红外灰度图像鉴别器 和可见光彩色图像鉴别器 ;
双向循环生成对抗网络应用模块,用于将待测试的测试样本集 输入到训练好的双向循环生成对抗网络中,输出最终的彩色结果;同时,将待测试的测试样本集 输入到训练好的双向循环生成对抗网络中,输出最终的近红外结果。
10.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求
1‑8任意一项所述夜晚监控相机的近红外图像彩色化方法。