1.一种基于尺度感知和联合注意力的红外小目标检测方法,其特征在于,所述方法包括如下步骤:步骤1、通过基础特征提取模块对红外图像进行初步特征提取,得到初级特征图;
步骤2、对初级特征图进行多层级特征提取以及通道拼接操作,得到拼接后的多层级特征提取特征图,再通过坐标注意力模块对拼接后的多层级特征提取特征图进行处理,得到多尺度特征图;
步骤3、将初级特征图和多尺度特征图通过三组投影卷积层处理,分别生成初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵;
基于初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵得到初级特征图的注意力细化特征图和多尺度特征图的注意力细化特征图;
基于初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵得到初级特征图的语义差异特征图和多尺度特征图的语义差异特征图;
对初级特征图的注意力细化特征图、多尺度特征图的注意力细化特征图、初级特征图的语义差异特征图和多尺度特征图的语义差异特征图进行卷积处理,得到编码特征图;
步骤4、将编码特征图和多尺度特征图输入至跨语义引导解码模块进行重建解码,得到解码特征图;
步骤5、将解码特征图输入至预测头,得到预测图像;
基于预测图像得到最终的检测结果;
在所述步骤2中,对初级特征图进行多层级特征提取以及通道拼接操作,得到拼接后的多层级特征提取特征图,再通过坐标注意力模块对拼接后的多层级特征提取特征图进行处理,得到多尺度特征图,对应过程存在的关系式为:;
其中,表示多尺度特征图,表示经过坐标注意力模块处理,、、和分别表示经过卷积核大小为1×1、5×5、7×7和9×9的卷积层处理,表示通道拼接操作;
坐标注意力模块的工作原理具体如下:
使用池化内核的两个空间范围分别沿水平坐标和垂直坐标对坐标注意力模块的输入的每个通道进行编码,得到在高度上的编码结果,对应过程存在的关系式为:;
其中,表示第个通道在高度上的编码结果,表示输入图像的宽度,表示宽度的索引,表示输入图像中的特定坐标,表示第个通道在高度和宽度处的编码结果;
使用池化内核的两个空间范围分别沿水平坐标和垂直坐标对坐标注意力模块的输入的每个通道进行编码,得到在宽度上的编码结果,对应过程存在的关系式为:;
其中,表示第个通道在宽度上的编码结果,表示输入图像的高度,表示高度的索引,表示输入图像中的特定坐标,表示第个通道在高度和宽度处的编码结果;
将在高度上的编码结果与在宽度上的编码结果分别沿着两个空间方向聚合特征,产生一对方向感知的特征图,再将方向感知的特征图通过卷积进行连接,得到中间特征图,对应过程存在的关系式为:;
其中,表示中间特征图,表示在高度上的编码结果,表示在宽度上的编码结果;
沿着空间维度将中间特征图分成两个张量,随后分别在水平方向上和垂直方向上,利用两个卷积将两个张量变换成两个方向上的注意力权重,对应过程存在的关系式为:;
其中,表示垂直方向上的注意力权重,表示水平方向上的注意力权重,表示经过Sigmoid激活函数处理,表示垂直方向上的中间特征图,表示水平方向上的中间特征图;
将输入与两个方向上的注意力权重做乘法运算,得到坐标注意力模块的输出,对应过程存在的关系式为:;
其中,表示坐标注意力模块的输出;
在所述步骤3中,基于初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵得到初级特征图的注意力细化特征图和多尺度特征图的注意力细化特征图,具体步骤如下:整合初级特征图和多尺度特征图的值矩阵,得到跨语义值,对应过程存在的关系式为:;
其中,表示跨语义值,表示初级特征图的值矩阵,表示多尺度特征图的值矩阵;
利用初级特征图的查询矩阵和初级特征图的键矩阵得到初级特征图的全局注意力图,利用多尺度特征图的查询矩阵和多尺度特征图的键矩阵得到多尺度特征图的全局注意力图,对应过程存在的关系式为:;
其中,表示初级特征图的全局注意力图,表示多尺度特征图的全局注意力图,表示初级特征图的查询矩阵,表示初级特征图的键矩阵的转置矩阵,表示多尺度特征图的全局注意力图,表示多尺度特征图的键矩阵的转置矩阵;
利用跨语义值分别对初级特征图的全局注意力图和多尺度特征图的全局注意力图进行细化处理,得到初级特征图的注意力细化特征图和多尺度特征图的注意力细化特征图,对应过程存在的关系式为:;
其中,表示初级特征图的注意力细化特征图,表示多尺度特征图的注意力细化特征图;
在所述步骤3中,基于初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵得到初级特征图的语义差异特征图和多尺度特征图的语义差异特征图,具体步骤如下:利用多尺度特征图的查询矩阵和初级特征图的键矩阵得到初级特征图的交叉语义注意力图,利用初级特征图的查询矩阵和多尺度特征图的键矩阵得到多尺度特征图的交叉语义注意力图,对应过程存在的关系式为:;
其中,表示初级特征图的交叉语义注意力图,表示多尺度特征图的交叉语义注意力图;
基于初级特征图的值矩阵和初级特征图的交叉语义注意力图得到初级特征图的语义差异特征图,基于多尺度特征图的值矩阵和多尺度特征图的交叉语义注意力图得到多尺度特征图的语义差异特征图,对应过程存在的关系式为:;
其中,表示初级特征图的语义差异特征图,表示多尺度特征图的语义差异特征图;
在所述步骤4中,将编码特征图和多尺度特征图输入至跨语义引导解码模块进行重建解码,得到解码特征图,具体步骤如下:对编码特征图和多尺度特征图进行卷积层和激活函数处理,分别生成编码特征图的空间权重矩阵和多尺度特征图的空间权重矩阵,对应过程存在的关系式为:;
其中,表示编码特征图的空间权重矩阵,表示多尺度特征图的空间权重矩阵;
将多尺度特征图的空间权重矩阵在特征级别上逐元素地与编码特征图相乘,得到空间信息增强的编码特征图,将编码特征图的空间权重矩阵在特征级别上逐元素地与多尺度特征图相乘,得到空间信息增强多尺度特征图,对应过程存在的关系式为:;
其中,表示空间信息增强的编码特征图,表示空间信息增强多尺度特征图;
将空间信息增强的编码特征图和空间信息增强多尺度特征图进行通道拼接操作,并依次经过卷积层处理、坐标注意力模块处理和激活函数处理,生成融合权重矩阵,对应过程存在的关系式为:;
其中,表示融合权重矩阵;
将融合矩阵应用于编码特征图和多尺度特征图以进行动态重加权处理,再通过卷积层进行细化,得到解码特征,对应过程存在的关系式为:;
其中,表示解码特征图。
2.根据权利要求1所述的基于尺度感知和联合注意力的红外小目标检测方法,其特征在于,在所述步骤1中,通过基础特征提取模块对红外图像进行初步特征提取,得到初级特征图,对应过程存在的关系式为:;
其中,表示初级特征图,表示经过ReLU激活函数处理,表示经过批归一化层处理,表示经过卷积核大小为3×3的卷积层处理,表示红外图像。
3.根据权利要求2所述的基于尺度感知和联合注意力的红外小目标检测方法,其特征在于,在所述步骤3中,对初级特征图的注意力细化特征图、多尺度特征图的注意力细化特征图、初级特征图的语义差异特征图和多尺度特征图的语义差异特征图进行卷积处理,得到编码特征图,对应过程存在的关系式为:;
其中,表示编码特征图。
4.根据权利要求3所述的基于尺度感知和联合注意力的红外小目标检测方法,其特征在于,在所述步骤5中,将解码特征图输入至预测头,得到预测图像,对应过程存在的关系式为:;
其中,表示预测图像,表示通过双线性插值的上采样处理。
5.一种基于尺度感知和联合注意力的红外小目标检测系统,其特征在于,所述系统应用如上权利要求1至4任意一种基于尺度感知和联合注意力的红外小目标检测方法,所述系统包括:特征提取模块,用于:
对红外图像进行初步特征提取,得到初级特征图;
尺度感知模块,用于:
对初级特征图进行多层级特征提取,得到多尺度特征图;
全语义聚合编码模块,用于:
将初级特征图和多尺度特征图通过三组投影卷积层处理,分别生成初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵;
基于初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵得到初级特征图的注意力细化特征图和多尺度特征图的注意力细化特征图;
基于初级特征图和多尺度特征图的查询矩阵、键矩阵和值矩阵得到初级特征图的语义差异特征图和多尺度特征图的语义差异特征图;
对初级特征图的注意力细化特征图、多尺度特征图的注意力细化特征图、初级特征图的语义差异特征图和多尺度特征图的语义差异特征图进行卷积处理,得到编码特征图;
跨语义引导解码模块,用于:
对编码特征图和多尺度特征图进行重建解码,得到解码特征图;
图像预测模块,用于:
将解码特征图输入至预测头,得到预测图像;
基于预测图像得到最终的检测结果。