1.一种动态融合目标跟踪方法,其特征在于,包括:
利用基于注意力机制的神经网络作为特征提取网络,构建单流目标跟踪模型;
将目标模板和搜索区域输入至所述单流目标跟踪模型,由所述特征提取网络获取搜索区域特征图和融合token的关系信息,并利用融合token的关系信息对搜索区域进行上采样,将搜索区域特征图恢复至原有token数;
将恢复至原有token数的搜索区域特征图输入至预测头,由所述预测头输出目标跟踪结果;
其中,所述特征提取网络以每三层注意力层为一组设置四组注意力组,第一、二、三组注意力组分别通过其注意力层的各注意力分数图对目标进行预测,获取预测目标位置,并根据其预测目标位置对搜索区域特征图进行token融合,记录融合token的关系信息;第一、二、三、四组注意力组的搜索区域中的token数等比例递减;
第一、二、三组注意力组分别通过其注意力层的各注意力分数图对目标进行预测,获取预测目标位置包括:第一组注意力组对其三层注意力层的各交互注意力分数图进行累加,并从累加后的注意力分数图中筛选出分数最高的token,作为第一组注意力组的预测目标位置;
第二、三组注意力组分别对其最后一层注意力层的各交互注意力分数图进行排序,并从排序中筛选出分数最高的token,作为第二、三组注意力组的预测目标位置;
第一、二、三组注意力组分别根据其预测目标位置对搜索区域特征图进行token融合包括:第一、二、三组注意力组分别根据其预测目标位置对搜索区域中所有token进行聚类分数计算,获取搜索区域中所有token的聚类分数;
将搜索区域中所有token的聚类分数从高至低进行排序,并从排序中筛选出前30%的token作为聚类中心点;
将聚类中心点和与其特征距离最小的token进行合并。
2.根据权利要求1所述的动态融合目标跟踪方法,其特征在于,所述特征提提取网络包括连接的token嵌入层和12层注意力层,每层注意力层均包括有12个头的多头注意力编码器;输入至所述特征提取网络的目标模板和搜索区域经所述token嵌入层投射为token后拼接在一起,作为统一token序列输入至所述注意力层中进行运算。
3.根据权利要求1所述的动态融合目标跟踪方法,其特征在于,所述聚类分数的计算公式为:;
其中,为搜索区域中第个token的聚类分数,为搜索区域中第个token的局域密度近似度,,为需要进行融合的token数,为搜索区域中第个token的特征图,为搜索区域中第个token的特征图,为搜索区域中的token集合,为搜索区域中第个token的距离指标,,为搜索区域中第个token的局域密度近似度,、为搜索区域中第个token的纵坐标、横坐标,、为上一组注意力组的预测目标位置对应的token的纵坐标、横坐标。
4.根据权利要求1所述的动态融合目标跟踪方法,其特征在于,合并后的token的特征图由合并前的token的特征图按照信息量加权合并得到,合并后的token的特征图为:;
其中,为合并后的token的特征图,为搜索区域中第个token的特征图,为目标模板中央token对搜索区域中第个token的注意力分数,为参与合并的token集合。
5.根据权利要求1所述的动态融合目标跟踪方法,其特征在于,利用融合token的关系信息对搜索区域进行上采样,将搜索区域特征图恢复至原有token数256,曾被融合的token重新分离为独立的token,其特征图与融合前相同。