欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107057813
申请人: 长春工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融入层特征的红外与可见光图像融合方法,包括下列步骤:(1)CNN融合框架以红外图像和可见光图像分别为两个源图像,两个源图像各自经过三层卷积运算和线性校正单元ReLU,得到源图像的深度特征,然后两个源图像的深度特征分别进入全连接层,得到权值;

(2)利用第一层卷积运算和线性校正单元ReLU分别实现两个源图像的层特征提取;

(3)利用两个源图像的权值、各自的灰度图像像素值和两个源图像各自的层特征,在多尺度空间的每一层空间中进行融合;

(4)将多尺度空间各层空间中的融合图像进行图像重构,得到融合后的图像;

所述得到权值的方法包括:

(1.1)分别将红外与可见光图像作为源图像进行颜色空间转换,将彩色源图像由RGB颜色空间转换到灰度空间,得到各自灰度图像,公式如下:其中,I为源图像在(x,y)位置处的灰度值,R、G、B是彩色图像中像素的红色、绿色和蓝色亮度值;

(1.2)将得到的源图像的灰度图经过第一层卷积运算和线性校正单元ReLU,得到源图像的Conv1层特征图,卷积核个数为64个,大小为33;

(1.3)将Conv1层特征图输入到第二层卷积运算和线性校正单元ReLU,得到源图像的Conv2层特征图,卷积核个数为128个,大小为33;

(1.4)将Conv2层特征图输入到最大池化层,得到源图像的特征图Conv2_pool;

(1.5)将特征图Conv2_pool输入到第三层卷积运算和线性校正单元ReLU,得到源图像的Conv3层特征图,Conv3层特征图即为源图像的深度特征;

(1.6)将红外与可见光两个源图像的深度特征进行全连接,得到红外与可见光图像的权值;

所述层特征的提取方法包括:

(2.1)因为卷积核个数为64个,所以得到的Conv1层特征是三维矩阵,将Conv1层特征图沿第三维进行拆分,得到64个二维特征图像;

(2.2)红外与可见光图像的层特征计算如下:

其中,LFA为红外图像的层特征,LFB为可见光图像的层特征;为红外图像的Conv1层二维特征图像,为可见光图像的Conv1层二维特征图像,L为常数64;

所述特征融合的方法包括:

(3.1)将红外与可见光图像的灰度值、两个源图像的权值以及两个源图像的层特征进行归一化处理;

(3.2)将归一化的源图像和层特征利用拉普拉斯金字塔进行分解,将归一化的权值利用高斯金字塔进行分解;

(3.3)在得到的分解的每一层中,用源图像的灰度值和层特征共同表示源图像的特征,具体计算如下:其中,a和b为层特征和源图像的权重因子,a=0.2, b=0.8;和为红外和可见光图像灰度值;LFA和LFB分别为红外与可见光图像的层特征;和分别为红外与可见光图像的特征值;

(3.4)对红外和可见光图像特征进行显著度比较,得到相似度值,如下式:其中,s为以像素(x,y)为中心的支持窗,大小为3*3;M为红外和可见光图像特征的相似度值,和分别为红外与可见光图像的特征值;

(3.5)根据相似度值,将红外与可见光图像的像素分成相似区和不相似区,M≥t为相似区,否则,为不相似区;式中,t=0.6;

(3.6)在相似区中,采用基于权值的融合方法得到融合图像,具体如下式:其中,FU(x,y)为融合图像,和分别为红外与可见光图像的特征值,w为权值;

在不相似区,采用基于最大值融合法得到融合图像,具体如下式:其中,FU(x,y)为融合图像,和分别为红外与可见光图像的特征值。