1.一种在可见光-红外图像质量不稳定下的目标检测方法,其特征在于:Step1:将可见光和红外图像输入到扩撒模型中,重建可见光和红外图像的不稳定目标信息,得到增量信息图像;
Step2:将Step1得到增量信息图像与原始可见光和红外图像进行融合,得到包含增量信息的可见光和红外图像;
Step3:将Step2得到的可见光和红外图像输入到特征提取网络中,提取可见光和红外图像的全局特征;
Step4:将Step3得到的特征输入到核相似性度量模块中,得到平衡优化网络的相似性权重;
Step5:将Step4得到的权重与Step3得到的特征相乘,得到平衡性优化的特征;
Step6:将Step5得到的特征输入到特征融合模块中,以融合可见光和红外图像特征的互补信息,得到融合后的特征图;
Step7:将Step6得到的特征图输入到检测器进行目标检测;
Step1中所述的重建可见光和红外图像的不稳定目标信息的方式为先将可见光和红外图像进行融合,然后将融合后得到的图像转换成正态分布,具体为:式中,rgb_images和thermal_images分别表示可见光和红外图像,Φ(·)代表将数据转换成正态分布操作,代表拟扩散过程的采样操作,Ic代表得到的增量信息图像;
Step4中所述的核相似性度量模块为设计卷积层和全连接层,将可见光和红外图像特征映射为两个低维度特征向量,然后基于两个低维度特征向量,使用高斯核函数计算两个低维度特征向量的相似性,得到相似性权重,具体为:式中,和分别代表可见光和红外图像特征的低维度向量,σ表示高斯核函数的参数,W表示相似性权重。
2.根据权利要求1所述的在可见光-红外图像质量不稳定下的目标检测方法,其特征在于:Step2中所述的融合方式为将增量信息图像与原始可见光和红外图像进行逐像素点相加,具体为:式中,代表逐元素相加操作,Ir代表包含增量信息的可见光图像,It代表包含增量信息的红外图像。
3.根据权利要求2所述的在可见光-红外图像质量不稳定下的目标检测方法,其特征在于:Step3中所述的特征提取网络为基于SSD算法的主干网络,将SSD算法的主干网络复制为两个分支,一个分支提取可见光图像特征,另一个分支提取红外图像特征,具体为:Fr=SSD(Ir) (4)
Ft=SSD(It) (5)
式中,SSD表示SSD算法的主干网络,Fr和Ft分别表示提取到的可见光和红外图像特征图。
4.根据权利要求3所述的在可见光-红外图像质量不稳定下的目标检测方法,其特征在于:Step5中所述的相乘操作为在全局操作上,将可见光和红外图像特征与相似性权重相乘,具体为:式中,代表对特征图进行全局相乘操作,Fr'和Ft'分别代表平衡性优化的可见光和红外图像特征。
5.根据权利要求4所述的可见光-红外图像质量不稳定下的目标检测方法,其特征在于:Step6中所述特征融合模块加入通道注意力机制,具体为:式中,CAM(·)表示通道注意力机制,Fr'_cam和Ft'_cam表示融合后的可见光和红外图像特征;
所述通道注意力机制的计算公式如下:
式中,H和W分别表示特征图的高和宽,σ表示双曲正切激活函数。
6.根据权利要求5所述的可见光-红外图像质量不稳定下的目标检测方法,其特征在于:所述Step7具体为:cls,conf,box=d_m(Fr'_cam,Ft'_cam) (13)式中,d_m(·)表示检测器,cls,conf,box分别表示预测图像中目标的类别,置信度以及包围框的坐标。
7.根据权利要求1或6所述的在可见光-红外图像质量不稳定下的目标检测方法,其特征在于:所述目标检测是指根据特定任务需求,对图像中所具有的目标进行检测,其预测的结果为目标在输入图像中所对应的包围框,输出结果包括分类和回归。