1.一种基于全景图像的视觉多目标跟踪方法,其特征在于,包括如下步骤:步骤S1,将全景RGB图像输入至特征提取网络,提取图像特征并生成可学习实例;所述可学习实例通过解码网络处理,得到目标的边界框及属性信息,所述属性信息包括置信度、速度、运动方向、朝向和加速度;
步骤S2,若轨迹池中存在历史轨迹,则基于历史轨迹构建轨迹实例,所述轨迹实例通过所述解码网络获取当前帧中对应轨迹的边界框及属性信息;
步骤S3,根据可学习实例与轨迹实例的输出结果进行轨迹管理,具体包括:若轨迹实例的置信度高于更新阈值θupdate,则更新对应轨迹;
若轨迹实例的置信度低于删除阈值θdelete,则从轨迹池中删除对应轨迹;
若可学习实例的置信度高于初始化阈值θinitalize,则在轨迹池中初始化新轨迹;
步骤S4,当选择数据关联时,计算可学习实例、轨迹实例与轨迹池中所有轨迹的匹配距离,通过匹配算法完成关联,并根据关联结果更新轨迹池,匹配算法通过最大化联合概率模型实现:其中,Oh为轨迹实例观测集;Or为可学习实例观测集;T表示轨迹,其下标1、2,…,n表示轨迹现有第几个轨迹;N表示轨迹数量;K表示轨迹实例观测集数量;L表示可学习实例观测集数量;p(Ohj|Ti)表示在轨迹Ti的条件下,观察到Ohj出现的概率;p(Orj|Ti)表示在轨迹Ti的条件下,观察到Orj出现的概率;通过优化关联模式选择使联合概率最大化的匹配结果;
步骤S5,通过自适应策略选择步骤S3或步骤S4的轨迹管理方式,为目标分配唯一编号,实现全景图像下多目标的连续在线跟踪,自适应策略包括:判断轨迹稳定性:若轨迹的历史更新频率valid_ratio(Ti)≥α且最大关联概率maxjPassoc(Orj,Ti)低于阈值τp,则采用步骤S3的轨迹管理;
判断环境噪声:若随机观测数量|Or|>Nmax且平均关联概率低于阈值τq,则对所有轨迹采用步骤S3的轨迹管理,其中,Nmax表示观察数量最大阈值;
默认情况:其余轨迹采用步骤S4的数据关联管理。
2.根据权利要求1所述的方法,其特征在于,步骤S2中,所述可学习实例和轨迹实例均包含语义特征与物理信息;
所述语义特征中,可学习实例的语义特征来自图像特征,轨迹实例的语义特征来自轨迹池中存储的历史帧特征;
所述物理信息包括位置、速度、运动方向和加速度,其中位置信息通过全景连续性变换表示,目标边界框定义为:(α,l,w,h,sgn(sin(α+w)));
式中,(α,l)为归一化后的左上角坐标;α为归一化后的长度位置且α∈[0,π];l为归一化后的高度位置且l∈[0,1];sgn(·)为符号函数;sin(·)为正弦函数;w,h分别为宽和高;sgn(sin(α+w))标识边界框是否跨越全景图像边界。
3.根据权利要求2所述的方法,其特征在于,所述轨迹实例的语义特征与物理信息反馈至感知器,用于在全景范围内快速定位目标并建立时序关联,降低匹配复杂度。
4.根据权利要求1所述的方法,其特征在于,步骤S4中,匹配距离的计算公式为:式中,s1和s2分别为边界框1和边界框2的置信度;sgn1和sgn2为边界跨越标志,sgn1>0表示未跨越边界,sgn1<0表示跨越边界,sgn2>0表示未跨越边界,sgn2<0表示跨越边界;λ为调整因子;DM(f1,f2)为特征向量的马氏距离;σ2为归一化超参数。