1.基于模态字典和特征匹配的未配准红外可见图像融合方法,其特征在于:所述方法的具体步骤如下:步骤1:获取用于未对齐红外可见光图像融合的训练数据集;
步骤2:将固定图像和偏移图像输入到特征提取模块中,获得固定特征和偏移特征;
步骤3:将固定特征和偏移特征输入到跨模态表示学习模块中,获得统一表示的固定特征和偏移特征;
步骤4:将统一表示的固定特征和偏移特征输入特征匹配模块中,输出匹配矩阵;具体过程如下:首先,将统一表示的固定特征和偏移特征输入特征匹配模块中的双重特征增强块中,得到增强之后的固定特征和偏移特征;之后,对增强之后的特征计算相似度,并输出匹配矩阵;
步骤5:将匹配矩阵和偏移特征输入特征重组块中,利用匹配矩阵对偏移特征进行重组;
步骤6:将重组特征和固定特征输入融合模块中,并重构出红外可见光融合图像;
所述步骤3中,跨模态表示学习模块的具体操作如下:将固定的i模态的图像得到的用于一致性表示的特征其中,
将偏移的不同模态特征
所述步骤4中,在特征匹配前先针对统一表示的固定特征和偏移特征采用窗口划分方式进行划分;具体地,采用所述步骤4中,设计了双重特征增强块对特征进行增强,具体操作如下:将
其中,
所述步骤4中,对增强之后的特征进行特征匹配,具体操作如下:对
其中,
所述步骤5中特征重组块的具体操作如下所示:将匹配矩阵
其中,
2.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法,其特征在于,所述步骤1中未对齐红外可见光图像融合的训练数据集包含数对未对齐红外可见光图像对,其中每个红外可见光图像对,都由一张红外图像和一张可见光图像组成;每张红外图像和可见光图像的大小均为256×256;首先对用于未对齐红外可见光图像融合的训练数据集进行预处理,预处理的方法具体为,对数据进行随机反转、随机旋转和偏移,对处理之后的图像进行归一化。
3.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法,其特征在于,所述步骤2中,具体操作如下:将固定图像
该特征提取模块由卷积核大小为3×3,步长为1的卷积层、ReLU激活层、批规范化层组成。
4.根据权利要求1所述的基于模态字典和特征匹配的未配准红外可见图像融合方法,其特征在于,所述步骤6中,将重组特征和固定特征输入融合模块进行特征融合的具体操作如下所示:将
其中,融合模块由数个卷积核大小为3×3,步长为1的卷积层、ReLU激活层和批规范化层组成的重建块构成,