欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2026100439242
申请人: 南昌航空大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于对比学习的恶劣天气目标检测方法,其特征在于,包括以下步骤:S1、采集包含多种恶劣天气条件的目标图像数据,并对图像中的目标进行标注,获得已知恶劣天气图像;

S2、将S1中的已知恶劣天气图像分别输入多尺度天气退化编码器和相似注意力特征抑制模块,获得天气退化特征和增强后的目标特征;

其中,多尺度天气退化编码器基于Darknet-53与FPN搭建,通过3个尺度分支的输出特征,采用3D注意力机制对各尺度分支输出特征加权融合,计算公式为:;

;

其中,为天气退化特征;为注意力权重;为第个尺度分支提取的天气退化特征图;为对第个尺度分支的特征图进行上采样操作;为输入图像的高度;为输入图像的宽度;为尺度分支的索引;

相似注意力特征抑制模块基于余弦相似度计算目标相关特征与天气退化特征的相似度,生成逆相似权重对目标相关特征加权融合;将增强后的目标特征输入YOLOv8s检测头,完成目标分类与边界框回归,输出目标类别及边界框坐标;

S3、构建基于因果推理的双分支对齐模型,所述模型包含因果注意力特征对齐模块和双检测分支一致性对齐模块;

将S1中的已知恶劣天气图像及预设的恶劣天气描述文本输入因果注意力特征对齐模块,采用CLIP文本编码器对恶劣天气描述文本编码生成文本特征、和,分别对应源域、目标域及增强文本特征;采用CLIP图像编码器对未知恶劣天气图像提取图像特征,基于L2损失实现与、和的特征对齐,获得对齐后图像特征;

双检测分支一致性对齐模块的主分支接收以及对齐后图像特征,经检测头输出第一预测框与第一类别概率;检测头输出第二预测框与第二类别概率;辅助分支接收以及,融合生成融合特征;采用KL散度约束与的类别概率分布,采用L1损失约束与的边界框位置;

S4、采用合成数据集与真实数据集构建训练数据,将数据按7:1.5:1.5划分为训练集、验证集和测试集;融合对比学习损失、CAAM损失、DCAM损失、分类损失与回归损失构建总损失函数;所述分类损失为交叉熵损失,回归损失为GIoU损失;采用Adam优化器训练模型,获得训练后的模型;

S5、对采集的图像统一Resize至640×640预处理,基于S4中训练后的模型,在通用模式时,执行S2输出增强后的目标特征,输入检测头得到最终预测框与最终类别概率;在域泛化模式时,先执行S3生成融合后的特征图,输入双分支通过约束输出一致性,选择与中置信度>0.5的预测框,经非极大值抑制后输出;同步输出检测结果与实时性能指标。

2.根据权利要求1所述的一种基于对比学习的恶劣天气目标检测方法,其特征在于,S2中通过3个尺度分支的输出特征,具体为:第一分支通过步长为1的3×3卷积提取细粒度干扰特征,输出特征图;

第二分支通过步长为2的3×3卷积结合批归一化提取中等尺度干扰特征,输出;

第三分支通过步长为4的3×3卷积结合ReLU激活提取大范围天气遮挡特征,输出。

3.根据权利要求1所述的一种基于对比学习的恶劣天气目标检测方法,其特征在于,S2中余弦相似度计算公式为:;

其中,为第个尺度下,坐标为处天气退化特征与目标特征的余弦相似度;为第个尺度分支中,坐标处的天气退化特征向量;为第个尺度分支中,坐标处的目标相关特征向量;为特征图像素坐标;为微小值;

逆相似权重对目标相关特征加权融合的公式为:

;

其中,为增强后的目标特征;为逆相似权重;为原始的目标特征图;为余弦相似度。

4.根据权利要求1所述的一种基于对比学习的恶劣天气目标检测方法,其特征在于,S3中因果注意力特征对齐模块的损失函数表示为:;

其中,为因果注意力特征对齐损失;为1×1卷积投影至图像特征维度的函数,为源域;为目标域;为增强文本特征;为图像特征。

5.根据权利要求4所述的一种基于对比学习的恶劣天气目标检测方法,其特征在于,S3中辅助分支融合文本特征与增强后目标特征的公式为:;

其中,为融合后的特征图;为增强后图像特征图的尺寸;为增强后目标特征图的尺寸;。

6.根据权利要求5所述的一种基于对比学习的恶劣天气目标检测方法,其特征在于,S4中总损失函数公式为:;

;

其中,为温度系数;为正样本天气特征;为负样本特征;为总损失函数;为对比学习损失;为分类损失;为回归损失;为负样本的数量;为双检测分支一致性对齐损失。

7.根据权利要求1所述的一种基于对比学习的恶劣天气目标检测方法,其特征在于,S4中,实时性能指标包括平均精度均值与检测帧率;合成数据集含5000张雨雾天标注图像,FoggyDriving含2000张雾天图像,Urban-Scene含1500张雪天图像,训练集、验证集、测试集数量分别为5950张、1275张、1275张。

8.一种计算机设备,其特征在于,包括:处理器,所述处理器用于与存储器耦合,读取并执行所述存储器中的指令和/或程序代码,以执行如权利要求1-7中任一项所述的方法。

9.一种计算机可读介质,其特征在于,所述计算机可读介质存储有计算机程序代码,当所述计算机程序代码在计算机上运行时,使得计算机执行如权利要求1-7中任一项所述的方法。