1.背景驱动查询嵌入学习的开放世界目标检测方法,其特征在于,包括以下步骤:S1、构建开放世界目标检测的双模式任务框架;
S2、采集包含已知类与未知类目标的图像数据,并对已知类目标进行标注,构建用于训练的数据集;
S3、基于S1的双模式任务框架,构建背景驱动的查询嵌入学习网络模型;S3中查询嵌入学习网络模型包括:由Backbone骨干网络和Transformer编码器-解码器串联构成的特征提取模块、目标检测预测模块、高质量背景预测模块、背景目标分离模块;其中,高质量背景预测模块包括多尺度注意力特征提取器和高质量背景筛选模块;背景目标分离模块包括缓冲区边界计算单元和混合区域惩罚单元;
高质量背景预测模块,具体内容如下:
多尺度注意力特征提取器,用于从Backbone骨干网络输出的基础特征中提取空间注意力分布;
高质量背景筛选单元,用于根据预设的注意力阈值γ筛选背景区域,并选取背景分数最高的B个区域作为高质量背景,通过背景预测损失函数进行优化;
背景目标分离模块,具体内容如下:
缓冲区边界计算单元,用于根据高质量背景的数量动态确定缓冲区范围[B,C];其中,B是缓冲区下边界;C是缓冲区上边界;
混合区域惩罚单元,用于对落入缓冲区内的查询嵌入预测区域施加惩罚损失,驱使查询嵌入远离背景-目标混合区域;
S4、基于S2构建的数据集,训练并优化S3构建的查询嵌入学习网络模型;具体为:S41、基于S2构建的数据集,划分为训练集、验证集与测试集;
S42、将S41中训练集以及所述训练集中已知类目标对应的边界框与类别标签输入查询嵌入学习网络模型;
通过查询嵌入学习网络模型内置的查询嵌入,对训练集的特征与已知类标注信息进行匹配关联;
由回归分支输出查询嵌入对应的预测框,由分类分支输出查询嵌入对应的类别;
S43、通过联合优化背景预测损失、缓冲区惩罚损失、分类损失与回归损失,得到最优的查询嵌入学习网络模型权重;具体为:第一步,计算背景预测损失,驱动查询嵌入学习网络模型学习高质量背景;
第二步,计算缓冲区惩罚损失,驱动背景与目标分离;
第三步,结合背景预测损失、缓冲区惩罚损失、分类损失与回归损失构成总损失函数;
第四步,基于总损失函数执行反向传播,迭代优化查询嵌入学习网络模型参数,直至收敛;
第五步,执行训练过程控制:训练时在验证集上监控未知召回率与已知类平均精度均值,当所述未知召回率与已知类平均精度均值不再提升时,启动早停策略;同时配置可调超参数,所述可调超参数包括:批大小、学习率、优化器类型、注意力阈值γ、缓冲区边界B与C、损失函数权重S5、将真实场景下采集的图像数据输入到训练好的查询嵌入学习网络模型中,输出已知类别的目标检测结果与未知类别的候选区域。
2.根据权利要求1所述的背景驱动查询嵌入学习的开放世界目标检测方法,其特征在于,双模式任务框架为高精度已知类检测模式与高召回未知类发现模式;
其中,高精度已知类检测模式,用于确保已知类平均精度均值,并检测未知类;
高召回未知类发现模式,优先提升未知类召回率。
3.根据权利要求2所述的背景驱动查询嵌入学习的开放世界目标检测方法,其特征在于,S41中,基于S2构建的数据集,将所述数据集划分已知类与未知类;将完成类别划分后的数据集按70%:15%:15%的比例,划分为训练集、验证集与测试集。
4.背景驱动查询嵌入学习的开放世界目标检测系统,其特征在于,用于执行权利要求1-3任意一项所述的背景驱动查询嵌入学习的开放世界目标检测方法,所述系统包括,数据集采集模块,用于采集包含已知类与未知类目标的图像数据,并对已知类目标进行标注;
特征提取模块,用于接收输入的图像数据,通过Backbone骨干网络提取图像数据的基础特征,并通过Transformer编码器-解码器对所述基础特征进行全局融合,输出全局融合特征;
目标检测预测模块,用于接收全局融合特征,通过查询嵌入处理后,经回归分支输出预测框,经分类分支输出与查询嵌入一一对应的类别;
高质量背景预测模块,用于接收特征提取模块生成的基础特征与目标检测预测模块中回归分支输出的预测框,输出背景预测损失;
背景目标分离模块,用于提取并筛选高质量背景区域,并在主干的检测流程中建立缓冲区惩罚机制,分离背景与目标特征,输出分离惩罚损失;
损失计算与优化模块,用于接收背景预测损失与分离惩罚损失,通过联合损失函数执行反向优化查询嵌入学习网络模型参数,输出目标检测结果。