1.一种基于红外和可见光图像融合的无人机目标检测方法,其特征在于,包括:通过无人机上搭载的红外成像传感器与可见光成像传感器同时采集同一场景两种模态的图像,从可见光图像中提取全局光照信息并根据所述全局光照信息生成光照权重,根据所述光照权重计算所述两种模态的加权系数;
从所述可见光图像中提取可见光特征图,从红外图像中提取红外特征图,对所述可见光特征图和红外特征图分别使用对应的加权系数加权得到加权特征;
确定所述两种模态的加权特征之间的频域差异,根据所述频域差异对所述两种模态的加权特征进行增强得到两种模态的增强特征;
将两种模态的增强特征拼接后分别输入全局分支和局部分支,得到全局偏移场和局部偏移场,将全局偏移场和局部偏移场叠加得到最终偏移场,使用最终偏移场对红外特征图的增强特征进行隐式位置对齐;
将对齐后的两种模态的增强特征拼接后输入目标检测头,得到无人机视角下的多类别目标检测结果;
从可见光图像中提取全局光照信息并根据所述全局光照信息生成光照权重,包括:将所述可见光图像转换至Lab色彩空间后提取亮度通道L,并从所述可见光图像中提取颜色对抗通道特征R-G和B-(R+G)/2;
将所述亮度通道特征和颜色对抗通道特征作为全局光照信息输入卷积网络,得到所述卷积网络输出的光照权重;
确定所述两种模态的加权特征之间的频域差异,包括:
对所述两种模态的加权特征分别进行二维离散余弦变换得到频谱特征;
将所述两种模态的加权特征融合后施加通道注意力机制得到全局特征,根据所述全局特征生成两种模态的调制系数;
对所述两种模态的频谱特征分别使用对应的调制系数调制得到调制后的特征;
对所述两种模态调制后的特征进行二维离散余弦变换得到频域特征;
将所述可见光图像的频域特征减去所述红外图像的频域特征得到的差值作为第一频域差异,将所述红外图像的频域特征减去所述可见光图像的频域特征得到的差值作为第二频域差异;
根据所述频域差异对所述两种模态的加权特征进行增强得到两种模态的增强特征,包括:对所述第一频域差异进行下采样和卷积降维后作为第一查询,对所述第二频域差异进行下采样和卷积降维后作为第一键和第一值;
根据所述第一查询、第一键和第一值,计算第一跨模态注意力矩阵,根据第一跨模态注意力矩阵通过矩阵乘法得到所述可见光图像的的增强特征;
对所述第二频域差异进行下采样和卷积降维后作为第二查询,对所述第一频域差异进行下采样和卷积降维后作为第二键和第二值;
根据所述第二查询、第二键和第二值,计算跨第二模态注意力矩阵,根据第二跨模态注意力矩阵通过矩阵乘法得到所述红外图像的增强特征。
2.根据权利要求1所述的基于红外和可见光图像融合的无人机目标检测方法,其特征在于,根据所述光照权重计算所述两种模态的加权系数,包括:根据所述光照权重,计算所述可见光特征图的加权系数;
根据所述可见光特征图的加权系数,计算所述红外特征图的加权系数。
3.根据权利要求1所述的基于红外和可见光图像融合的无人机目标检测方法,其特征在于,通过以下公式根据所述光照权重计算所述两种模态的加权系数:;
= 1 - ;
其中,为可见光特征图的加权系数,为红外特征图的加权系数,为光照权重,β为调节系数。
4.根据权利要求1所述的基于红外和可见光图像融合的无人机目标检测方法,其特征在于,所述全局分支为多层感知器,所述局部分支为卷积网络。
5.一种基于红外和可见光图像融合的无人机目标检测装置,其特征在于,应用于权利要求1-4任一所述的基于红外和可见光图像融合的无人机目标检测方法,包括:光照感知模块,用于通过无人机上搭载的红外成像传感器与可见光成像传感器同时采集同一场景两种模态的图像,从可见光图像中提取全局光照信息并根据所述全局光照信息生成光照权重,根据所述光照权重计算所述两种模态的加权系数;
特征加权模块,用于从所述可见光图像中提取可见光特征图,从红外图像中提取红外特征图,对所述可见光特征图和红外特征图分别使用对应的加权系数加权得到加权特征;
频域增强模块,用于确定所述两种模态的加权特征之间的频域差异,根据所述频域差异对所述两种模态的加权特征进行增强得到两种模态的增强特征;
隐式对齐模块,用于将两种模态的增强特征拼接后分别输入全局分支和局部分支,得到全局偏移场和局部偏移场,将全局偏移场和局部偏移场叠加得到最终偏移场,使用最终偏移场对红外特征图的增强特征进行隐式位置对齐;
目标检测模块,用于将对齐后的两种模态的增强特征拼接后输入目标检测头,得到无人机视角下的多类别目标检测结果;
所述光照感知模块具体用于:
将所述可见光图像转换至Lab色彩空间后提取亮度通道L,并从所述可见光图像中提取颜色对抗通道特征R-G和B-(R+G)/2;
将所述亮度通道特征和颜色对抗通道特征作为全局光照信息输入卷积网络,得到所述卷积网络输出的光照权重。
6.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至4任一项所述基于红外和可见光图像融合的无人机目标检测方法。
7.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述基于红外和可见光图像融合的无人机目标检测方法。