1.一种联合可见光图像和红外图像的目标检测方法,其特征在于:Step1:将可见光图像和红外图像分别输入到特征提取模块中,提取可见光图像和红外图像的全局特征;
Step2:将可见光图像输入到光照感知模块中,提取光照信息;
Step3:将Step1所得的全局特征输入到互信息模块中,清除可见光图像和红外图像中的冗余信息;
Step4:将Step1所得的特征输入到特征融合模块中,以融合可见光图像和红外图像特征的互补信息,得到融合后的特征图;
Step5:将Step2得到的光照信息和Step4得到的特征图输入到检测器进行目标检测。
2.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step1中所述特征提取模块为基于SSD算法的主干网络,将SSD算法的主干网络复制为两个分支,一个分支提取可见光图像特征,另一个分支提取红外图像特征,具体为:Fv=SSD(vi_images) (1)Fi=SSD(if_images) (2)式中,SSD表示SSD算法的主干网络,vi_images和if_images分别表示可见光图像和红外图像,Fv和Fi分别表示提取到的可见光图像和红外图像特征。
3.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step2中所述光照信息是指通过光照感知模块提取到的两个权重,具体为:Ws,Wl=l_m(vi_images) (3)式中,l_m表示光照感知模块,Ws和Wl分别表示提取到的两个权重。
4.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step3中所述互信息模块为设计两个卷积层和全连接层,将可见光图像和红外图像特征映射为两个低维度特征向量,然后基于两个低维度特征向量,创建两个信息分布,最后计算两个信息分布的互信息,具体公式如下:M(Zv,Zi)=H(Zv)+H(Zi)‑H(Zv,Zi) (4)式中,Zv和Zi表示可见光图像和红外图像特征的低维度特征向量,M(Zv,Zi)表示低维度特征向量互信息,H(Zv)和H(Zi)分别表示Zv和Zi的信息熵,H(Zv,Zi)表示Zv和Zi的联合熵。
5.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step4中所述特征融合模块加入通道注意力机制,具体为:式中,CAM表示通道注意力机制, 代表元素相乘操作,Fv和Fi表示融合前的可见光图像和红外图像特征,Fv'和Fi'表示融合后的可见光图像和红外图像特征;
所述通道注意力机制的计算公式如下:
式中,H,W表示特征图的尺寸,σ表示双曲正切激活函数。
6.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于,所述Step5具体为:cls,conf,box=d_m(Ws,Wl,Fi',Fv') (9)式中,d_m表示检测器,cls,conf,box分别表示预测图像中目标的类别,置信度以及包围框的坐标。
7.根据权利要求1或3所述的联合可见光图像和红外图像的目标检测方法,其特征在于:所述可见光图像输入到光照感知模块是指将可见光图像尺寸修剪为56*56,再输入到光照感知模块中提取光照信息。
8.根据权利要求1或6所述的联合可见光图像和红外图像的目标检测方法,其特征在于:所述目标检测是指根据特定任务需求,对图像中所具有的目标进行检测,其预测的结果为目标在输入图像中所对应的包围框,输出结果包括分类和回归。