1.一种融入层特征的红外与可见光图像融合方法,包括下列步骤:(1)CNN融合框架以红外图像和可见光图像分别为两个源图像,两个源图像各自经过三层卷积运算和线性校正单元ReLU,得到源图像的深度特征,然后两个源图像的深度特征分别进入全连接层,得到权值;
(2)利用第一层卷积运算和线性校正单元ReLU分别实现两个源图像的层特征提取;
(3)利用两个源图像的权值、各自的灰度图像像素值和两个源图像各自的层特征,在多尺度空间的每一层空间中进行融合;
(4)将多尺度空间各层空间中的融合图像进行图像重构,得到融合后的图像;
所述得到权值的方法包括:
(1.1)分别将红外与可见光图像作为源图像进行颜色空间转换,将彩色源图像由RGB颜色空间转换到灰度空间,得到各自灰度图像,公式如下:其中,I为源图像在(x,y)位置处的灰度值,R、G、B是彩色图像中像素的红色、绿色和蓝色亮度值;
(1.2)将得到的源图像的灰度图经过第一层卷积运算和线性校正单元ReLU,得到源图像的Conv1层特征图,卷积核个数为64个,大小为33;
(1.3)将Conv1层特征图输入到第二层卷积运算和线性校正单元ReLU,得到源图像的Conv2层特征图,卷积核个数为128个,大小为33;
(1.4)将Conv2层特征图输入到最大池化层,得到源图像的特征图Conv2_pool;
(1.5)将特征图Conv2_pool输入到第三层卷积运算和线性校正单元ReLU,得到源图像的Conv3层特征图,Conv3层特征图即为源图像的深度特征;
(1.6)将红外与可见光两个源图像的深度特征进行全连接,得到红外与可见光图像的权值;
所述层特征的提取方法包括:
(2.1)因为卷积核个数为64个,所以得到的Conv1层特征是三维矩阵,将Conv1层特征图沿第三维进行拆分,得到64个二维特征图像;
(2.2)红外与可见光图像的层特征计算如下:
其中,LFA为红外图像的层特征,LFB为可见光图像的层特征;为红外图像的Conv1层二维特征图像,为可见光图像的Conv1层二维特征图像,L为常数64;
所述特征融合的方法包括:
(3.1)将红外与可见光图像的灰度值、两个源图像的权值以及两个源图像的层特征进行归一化处理;
(3.2)将归一化的源图像和层特征利用拉普拉斯金字塔进行分解,将归一化的权值利用高斯金字塔进行分解;
(3.3)在得到的分解的每一层中,用源图像的灰度值和层特征共同表示源图像的特征,具体计算如下:其中,a和b为层特征和源图像的权重因子,a=0.2, b=0.8;和为红外和可见光图像灰度值;LFA和LFB分别为红外与可见光图像的层特征;和分别为红外与可见光图像的特征值;
(3.4)对红外和可见光图像特征进行显著度比较,得到相似度值,如下式:其中,s为以像素(x,y)为中心的支持窗,大小为3*3;M为红外和可见光图像特征的相似度值,和分别为红外与可见光图像的特征值;
(3.5)根据相似度值,将红外与可见光图像的像素分成相似区和不相似区,M≥t为相似区,否则,为不相似区;式中,t=0.6;
(3.6)在相似区中,采用基于权值的融合方法得到融合图像,具体如下式:其中,FU(x,y)为融合图像,和分别为红外与可见光图像的特征值,w为权值;
在不相似区,采用基于最大值融合法得到融合图像,具体如下式:其中,FU(x,y)为融合图像,和分别为红外与可见光图像的特征值。