1.一种用于恶劣天气下的红外图像去噪和小目标检测方法,其特征在于,包括步骤如下:
步骤1.根据红外图像的去噪和检测识别的任务目标,构建三分类红外图像小目标数据集,随机的将数据集划分为三等份并添加高斯噪声、泊松噪声和椒盐噪声这三种噪声,噪声强度均为10dB;
步骤2.构建用于恶劣天气条件下的红外图像去噪和小目标检测的网络架构,整体框架包括滤波器去噪模块、全分辨率去噪模块和YOLOv5检测器三部分,检测器中使用损失监督函数提高对小目标的检测性能;
步骤3.基于加噪的三分类红外图像小目标数据集,对提出的网络架构进行训练,获得红外图像的去噪和识别的模型;
步骤4.将训练过后的红外图像去噪和小目标检测模型用测试集进行测试,验证模型的精确度AP和平均精确度mAP指标;
雨雪雾这些在恶劣天气下产生的噪声在红外图像上以滤波的形式存在,采用滤波器去噪模块用于处理局部噪声,也能够称为局部去噪模块;滤波器去噪的步骤是将图像依次通过中值滤波器、小波去噪滤波器和锐化滤波器,对图像进行局部去噪,中值滤波和小波去噪滤波用于处理高斯噪声、泊松噪声和椒盐噪声,锐化滤波用于调节红外图像的锐化度;在目标离散的情况下,中值滤波器的公式为:中值(x1,y1)=中位数(I(x1+i,y1+j)|i=0,1,...,N-1,j=0,1,...N-1)
其中,中值(x1,y1)是图像经过中值滤波后的像素值,中位数表示邻域内像素值的中位数,I(x1+i,y1+j)是输入图像在位置(x1+i,y1+j)处的像素值,N是邻域的大小;小波去噪是基于小波变换的图像去噪方法;小波变换将图像分解为不同频率的分量,通过阈值处理去除高频噪声,再进行逆变换;利用小波变换对图像进行分解和重构,小波去噪的方法写作公式为:小波去噪(x1,y1)=W-1(T(W(I(x1,y1))))
其中,W是小波变换,T是阈值函数,用于将小波系数进行阈值处理,W-1是小波逆变换,I(x1,y1)是图像特征经过中值滤波器的输出,是表示在(x1,y1)的像素值;通过中值滤波和小波去噪滤波后,将图像传入锐化滤波来调整图像背景和目标的对比度;锐化滤波器用于突出显示图像细节,公式如下:F(x1,λ)=I(x1)+λ(I(x1)-Gau(I(x1)))
其中,I(x1)是小波去噪滤波器的输出,表示在坐标x1上的像素值,Gau()表示高斯滤波器,参数λ是正比例因子;这种锐化运算对于x和λ都是可微的,能够通过优化参数λ来调整锐化程度,以获得更好的对象检测性能;以上三种滤波器组成了局部去噪模块,通过中值滤波器和小波去噪滤波抑制恶劣天气下的雨雪雾噪声,通过锐化滤波器调整红外图像的锐化度,增强目标的关键区域,利于红外图像中小目标的检测和识别;
全分辨率去噪模块由12个卷积-归一化-激活函数区块、4层残差卷积块和三次跳跃链接组成;全分辨去噪模块按照数据流顺序分为3个阶段,分别为下采样阶段,传递连接阶段和上采样阶段;下采样阶段用于图片的特征提取:图片输入依次经过两层卷积-归一化-激活函数区块后进行卷积下采样得到输入特征A1,输入特征A1依次经过两层卷积-归一化-激活函数区块后进行卷积下采样得到输入特征A2,输入特征A2依次经过两层卷积-归一化-激活函数区块后进行卷积下采样得到输入特征A3;然后进入传递连接阶段:输入特征A3进入中间层的4层卷积残差块得到还原特征B3;上采样阶段用于去噪和特征还原,为加强特征共享其中会进行特征的拼接:B3和A3进行拼接后进行插值上采样再依次经过两层卷积-归一化-激活函数区块得到还原特征B2,B2和A2进行拼接后进行插值上采样再依次经过两层卷积-归一化-激活函数区块得到还原特征B1,B1和A1进行拼接后进行插值上采样再依次经过两层卷积-归一化-激活函数区块得到最终的全分辨去噪图片;全分辨率去噪模块的公式如下所示:Icoarse=FRM(Inoise)
其中Inoise和Icoarse表示原始加噪的红外图像和经过全分辨率去噪模块后的图像;通过使用L2损失,确保全分辨率模块能够在没有像素失真的情况下获得去噪结果:其中,是L2损失,Ibg表示无噪声的红外图像。
2.根据权利要求1所述的一种用于恶劣天气下的红外图像去噪和小目标检测方法,其特征在于,步骤1具体方法如下:
根据红外图像去噪和小目标检测的任务目标,在空中背景、地面背景和海洋背景下分别收集整理适合小目标检测和识别任务的红外图像,用labelimg软件对数据集中每一张图片的标注框核查,对漏标和误标的目标重新标记并保存新的标注文档,统一红外图片和标注文件的格式,图片格式为JPG,标注文件的格式为JSON,图片的分辨率为384*288和640*480两种尺寸;在上述红外图像的基础上,随机的将所有图像划分为三等份并添加高斯噪声、泊松噪声和椒盐噪声三类噪声,噪声强度均为10dB,得到用于本发明实验的加噪的三分类红外图像小目标数据集;最后,统计加噪的三分类红外图像小目标数据集的分类样本数量、目标数量和目标大小。
3.根据权利要求1或2所述的一种用于恶劣天气下的红外图像去噪和小目标检测方法,其特征在于,将局部去噪模块和全局去噪模块得到的特征信息进行融合得到最优的去噪特征图后传入检测网络,便于检测网络识别出红外图像中的小目标的位置信息和类别信息;在检测网络中,使用YOLOv5检测器作为检测网络,YOLOv5检测器分为特征提取模块、特征融合模块和检测模块三个部分;依次将传入的特征信息通过特征提取模块、特征融合模块和检测模块;特征提取模块将输入端的图像特征随机缩放和裁剪传入包含Focus结构和CSP结构的骨干网络;特征融合模块将图像特征传入自顶向下和自底向上结合的特征融合网络进行融合;检测模块将图像特征传入基于锚框检测的多尺度检测头,结合损失函数的监督得出检测和识别结果。
4.根据权利要求3所述的一种用于恶劣天气下的红外图像去噪和小目标检测方法,其特征在于,步骤3具体实现如下:对于网络训练工作,采用初始学习率设置为1×10-2的SGD优化器来训练300个epoch,前50个epoch冻结主干网络进行训练;动量参数为0.937,重量衰减设置为5×10-4;采用Pytorch框架构建去噪网络和检测网络,采用二分类损失函数和GIOU损失来评估目标检测的质量,并采取余弦学习率衰退策略与Dropout策略来优化模型。