欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024115585967
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于拉普拉斯共识矩阵的红外-可见光特征分离与增强方法,其特征在于,具体包括以下步骤:S4、对融合后的空间维度权重矩阵进行图拉普拉斯嵌入得到可见光图像与红外图像的共识拉普拉斯矩阵,其表征两个模态共有的、被激活的判别性特征,融合后的空间维度权重矩阵是对可见光矩阵和红外图像矩阵进行特征提取、全局池化操作、沿通道维度拼接和降维融合后得到;

S5、以共识拉普拉斯矩阵为基准,将可见光图像和红外图像中提取到的空间维度权重矩阵分别与进行逐元素相乘,后经由归一化操作得到可见光与红外特征相较于同质特征的注意力矩阵,即可见光注意力矩阵和红外注意力矩阵;

S6、对可见光注意力矩阵和红外注意力矩阵进行取反操作,得到可见光图像与红外图像中模态特定的注意力权重矩阵,即可见光注意力权重矩阵和红外注意力矩阵;

S7、利用注意力矩阵和注意力权重矩阵对可见光图像特征和红外图像特征进行判别性特征增强,得到增强后的可见光图像特征和红外图像特征;

S8、将增强后的可见光图像特征和红外图像特征沿通道维度拼接,并使用深度可分离卷积对拼接后的图像特征进行全局信息的提取与融合,得到融合后的融合图像特征。

2.根据权利要求1所述的方法,其特征在于,

在S4之前,融合后的空间维度权重矩阵获取的具体步骤包括:S1、将可见光图像和红外图像分别输入到特征提取器中,提取可见光图像特征和红外图像特征;

S2、通过全局池化操作提取可见光图像特征和红外图像特征中每个模态下的判别特征,并将每个模态的判别特征归一化操作后作为模态特定的空间维度权重矩阵;

S3、先将可见光图像和红外图像中提取到的空间维度权重矩阵沿通道维度进行拼接,后使用卷积操作对拼接后的权重矩阵进行降维融合,得到融合后的空间维度权重矩阵。

3.根据权利要求1或2所述的方法,其特征在于,

根据权利要求1所述的方法,其特征在于,

在S4中,图拉普拉斯嵌入的具体步骤包括:

首先,根据K最近邻算法计算融合后的空间维度权重矩阵Vfusion的邻接矩阵A;其次,计算空间维度权重矩阵Vfusion的度矩阵其中D-A即为空间维度权重矩阵Vfusion的共识拉普拉斯矩阵,共识拉普拉斯矩阵的具体计算方式为:Mcons=D-1/2(D-A)D-1/2,其中,

4.根据权利要求1或2所述的方法,其特征在于,

在S7中,判别性特征增强的计算方式具体如下:

其中,trgb与tth分别为可见光模态与红外模态的注意力增强因子,其初始值均设置为1,并随着深度学习网络反向传播不断更新,为通道维度相乘。

5.根据权利要求2所述的方法,其特征在于,

在S8中,全局信息的提取与融合的具体计算方式如下:

其中,fReLU(·)为ReLU激活函数,fdw(·)为深度可分离卷积操作,cat(·)为沿通道维度的向量拼接操作。

6.一种计算机设备,其特征在于,包括:

至少一个处理器;及

与所述至少一个处理器通信连接的存储器;其中:

所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至5中任一项所述的基于拉普拉斯共识矩阵的红外-可见光特征分离与增强方法。

7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机指令,所述计算机指令被处理器执行时实现如权利要求1至5中任一项所述的基于拉普拉斯共识矩阵的红外-可见光特征分离与增强方法。

8.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5中任一项所述的基于拉普拉斯共识矩阵的红外-可见光特征分离与增强方法。