1.一种基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,包括以下步骤:步骤S1,从具有语义分割掩码注释的真实数据集中获取晴天与雨天条件下的道路场景真实图像和与所述道路场景真实图像对应的语义分割掩码;
步骤S2,将所述道路场景真实图像、所述语义分割掩码以及天气条件文本信息输入改进扩散模型进行训练,训练结束后,得到训练好的改进扩散模型;
步骤S3,将所述语义分割掩码与天气条件文本信息输入到训练好的改进扩散模型,得到雨天条件下的道路场景生成图像;
步骤S4,将所述道路场景真实图像和所述道路场景生成图像整合为新数据集;
步骤S5,基于新数据集对优化后的目标检测模型进行预训练,所述优化后的目标检测模型采用以下方法进行优化:在目标检测模型中引入CoT模块与ODConv模块进行优化,然后采用动态加权聚合损失函数对目标检测模型的边界框损失函数进行改进;
步骤S6,预训练后,再结合新数据集对优化后的目标检测模型进行成对图像知识蒸馏,得到雨天目标检测增强模型;
步骤S7,使用雨天目标检测增强模型进行目标检测。
2.根据权利要求1所述的基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,步骤S1中,所述真实数据集包括Wilddash2、IDDAW、Cityscapes、ACDC、BDD100K以及Wilddash2。
3.根据权利要求2所述的基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,步骤S1中,还包括:将所述真实数据集中的所述道路场景真实图像进行格式统一。
4.根据权利要求1所述的基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,步骤S5中,所述目标检测模型包括骨干网络、特征融合网络和任务头,所述CoT模块嵌入于所述骨干网络的低层卷积层以用于捕捉图像中的细节特征;所述ODConv模块引入到骨干网络的高层卷积层以负责处理复杂的语义特征,进而增强高层特征的表示能力,此外,所述ODConv模块还集成在所述特征融合网络以用于优化多尺度特征的融合。
5.根据权利要求1所述的基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,所述动态加权聚合损失函数通过引入目标尺度和位置信息的动态加权机制以提升所述目标检测模型在复杂场景下的边界框回归性能。
6.根据权利要求1所述的基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,步骤S5中,所述目标检测模型为YOLOv8目标检测模型;所述优化后的目标检测模型为COTD-YOLOv8目标检测模型。
7.根据权利要求1所述的基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,步骤S6中,再结合新数据集对优化后的目标检测模型进行成对图像知识蒸馏,具体包括:预训练阶段,采用Co-DETR作为教师模型并使用新数据集中晴天条件下的道路场景真实图像进行训练,生成精确的类别概率分布和边界框预测;将优化后的所述目标检测模型作为学生模型并使用新数据集中晴天条件下的道路场景真实图像和雨天条件下的道路场景生成图像进行预训练;
知识蒸馏阶段,教师模型使用晴天条件下的道路场景真实图像进行训练,生成高质量的软标签,所述软标签包括类别概率分布和边界框回归;学生模型使用雨天条件下的道路场景生成图像进行训练,并生成自身的软预测和硬预测;然后利用教师模型生成的软标签指导学生模型的训练。
8.根据权利要求7所述的基于成对图像数据生成与知识蒸馏的雨天目标检测方法,其特征在于,利用教师模型生成的软标签指导学生模型的训练,具体包括:学生模型通过蒸馏损失和相似度加权蒸馏损失衡量其在雨天条件下的道路场景生成图像上的软预测与教师模型在晴天条件下的道路场景真实图像上生成的软标签之间的差异;
学生模型通过对比硬预测与真实的硬标签,计算检测损失,完成训练。