1.一种恶劣天气情况下的图像目标检测方法,其特征在于,包括下述步骤:采集在恶劣天气环境下的原始图像,对原始图像进行加雾处理得到雾霾图像,对原始图像进行暗光处理得到暗光图像;
构建图像去噪滤波器和掩码自编码器,所述掩码自编码器包括编码器和解码器;
将雾霾图像、暗光图像输入至图像去噪滤波器,所述图像去噪滤波器对雾霾图像、暗光图像进行去噪,得到对应的清晰化图像;
将雾霾图像、暗光图像输入至掩码自编码器,将雾霾图像、暗光图像拆分为非重叠块,所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作,通过线性映射跟位置编码得到图像tokens,所述解码器将图像tokens经过图像重建解码还原得到原图;
将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,更新编码器的参数;
构建目标检测模块,所述目标检测模块包括编码单元和预测头,所述编码单元包括更新参数后的编码器和对抗调整器,并在编码单元的输入端设置文本描述Prompt模块,所述预测头与更新参数后的编码器的输出端连接;
获取有标签的图像数据集,对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数,文本描述Prompt模块对图像数据集中的图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型进行编码,得到Prompt向量编码,将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练,预测头输出图像分类信息与定位信息;
获取待检测的恶劣天气环境图像,将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
2.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,所述对原始图像进行加雾处理得到雾霾图像,具体包括:根据标准光学模型的中心点合成雾的图像模拟雾霾方法对原始图像进行加雾处理,表示为:;
;
其中,G(x)表示用于训练过程的雾霾图像,O(x)表示原始图像,β表示大气散射系数,d(x)表示图像场景参数,表示当前像素坐标至图像中心像素坐标的欧氏距离,row、col分别表示图像的行、列像素数目,A表示图像全景环境亮度。
3.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,所述图像去噪滤波器包括去雾化滤波器、像素化滤波器、锐化滤波器和去暗光化滤波器;
所述去雾化滤波器采用具有可学习参数的除雾滤波器;
所述像素化滤波器包括白平衡滤波模块、伽马滤波模块、对比度滤波模块、色调滤波模块;
所述白平衡滤波模块用于调整图像的色温,所述伽马滤波模块用于调整图像的亮度,所述对比度滤波模块用于增强图像的对比度,所述色调滤波模块用于改变图像的色调;
所述锐化滤波器用于输出锐化后的图像,具体表示为:;
其中, 表示锐化后的图像,P(x)表示输入图像,Gau(P(x))为高斯滤波器,为缩放因子,x表示图像中像素位置;
所述去暗光化滤波器采用伽马变换进行操作,具体表示为:;
其中,S是变换后的图像灰度值,r是原图像灰度值,c是常数,g是伽马系数。
4.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,使用InfoNCE损失函数,具体表示为:;
其中,表示超参数,N表示对比集合中的样本数, 、 分别表示对应的正样本,若下标不一样则表示是负样本, 表示若下标不同,则为1,否则为0。
5.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,所述对抗调整器包括扰动模块和调整模块,对于第i层,利用扰动掩码 将均匀分布μ引入原始注意力权重 中,在扰动模块中扰动过程如下:;
;
其中, 、 和 分别是扰动注意力权重、第i层的Query矩阵和Key矩阵, 表示元素乘积符号, 和 表示两个可学习的矩阵;
扰动模块通过扰动掩码 校准原始注意力权重 ,调整模块计算得到调整后的注意力权重 ,表示为:;
将调整后的注意力权重 与原始注意力权重 进行聚合,得到组合注意力权重 ,表示为:;
将组合注意力权重 作为最终的经过扰动后的注意力权重。
6.根据权利要求5所述的恶劣天气情况下的图像目标检测方法,其特征在于,对抗调整器使用交叉熵函数进行扰动损失和调整损失的计算,具体包括:;
;
其中, 表示扰动损失, 表示调整损失,n表示注意力层层数。
7.根据权利要求6所述的恶劣天气情况下的图像目标检测方法,其特征在于,预测头输出图像分类信息与定位信息,对分类信息采用多值交叉熵损失函数进行损失计算,表示为:;
其中, 表示多值交叉熵损失函数,C表示类别数, 表示目标类别, 表示图像样本属于第i个类别的概率;
对定位信息采用SmoothL1函数进行损失计算,SmoothL1函数表示为:;
对于目标检测中的每个预测框 和其对应的真实框 ,采用SmoothL1Loss进行损失计算,表示为:;
其中,x、y表示框的中心点坐标,w、h表示的是框的宽度和高度, 表示预测框 的第j个坐标, 表示真实框 的第j个坐标,最终的定位损失是所有预测框的SmoothL1损失的平均值;
构建目标检测模块的目标函数,表示为:
;
通过反向传播训练自注意力机制。
8.根据权利要求1所述的恶劣天气情况下的图像目标检测方法,其特征在于,还包括检测结果筛选步骤,具体包括:预设阈值对目标检测模块输出的图像分类信息与定位信息进行筛选,当目标出现重叠时使用非极大值抑制去除冗余的检测结果,保留置信度最高的检测结果。
9.一种恶劣天气情况下的图像目标检测系统,其特征在于,包括:原始图像采集模块、加雾处理模块、暗光处理模块、图像去噪滤波器构建模块、掩码自编码器构建模块、对比学习模块、目标检测模块构建模块、文本描述Prompt模块、目标检测训练模块、目标检测结果输出模块;
所述原始图像采集模块用于采集在恶劣天气环境下的原始图像;
所述加雾处理模块用于对原始图像进行加雾处理得到雾霾图像;
所述暗光处理模块用于对原始图像进行暗光处理得到暗光图像;
所述图像去噪滤波器构建模块用于构建图像去噪滤波器,所述图像去噪滤波器对雾霾图像、暗光图像进行去噪,得到对应的清晰化图像;
所述掩码自编码器构建模块用于构建掩码自编码器,所述掩码自编码器包括编码器和解码器;
所述掩码自编码器用于获取雾霾图像、暗光图像,将雾霾图像、暗光图像拆分为非重叠块,所述编码器基于服从均匀分布的无重复随机采样图像块进行掩码操作,通过线性映射跟位置编码得到图像tokens,所述解码器将图像tokens经过图像重建解码还原得到原图;
所述对比学习模块用于将图像去噪滤波器和掩码自编码器对应输出的图像作为正样本集合进行对比学习,更新编码器的参数;
所述目标检测模块构建模块用于构建目标检测模块,所述目标检测模块包括编码单元和预测头,所述编码单元包括更新参数后的编码器和对抗调整器,所述预测头与更新参数后的编码器的输出端连接;
所述文本描述Prompt模块设置在编码单元的输入端;
所述对抗调整器根据每个图像区域块对预测的贡献重新分配注意力分数;所述文本描述Prompt模块对图像数据进行Prompt文本描述得到文本描述,文本描述经过Bert模型进行编码,得到Prompt向量编码;
所述目标检测训练模块用于将Prompt向量编码与有标签的图像数据输入更新参数后的编码器进行训练;
所述预测头输出图像分类信息与定位信息;
所述目标检测结果输出模块用于获取待检测的恶劣天气环境图像,将恶劣天气环境图像输入至目标检测模块得到最终的图像分类信息与定位信息。
10.一种计算机设备,包括处理器和用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现如权利要求1‑8任一项所述恶劣天气情况下的图像目标检测方法。