欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024108775558
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多尺度聚合注意力特征提取网络的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤1、在Transformer的网络结构下,通过在浅层设置多尺度聚合注意力,在深层设置交叉注意力构建多尺度特征提取网络;

步骤2、使用多种大规模数据集对所构建的多尺度特征提取网络进行训练,并对所构建的多尺度特征提取网络中多尺度聚合注意力的参数进行调整;

步骤3、基于经过数据集训练后的多尺度特征提取网络模型对模板图像和搜索图像进行特征提取,以得到包含局部信息和全局信息的模板特征图和搜索特征图,将模板特征图和搜索特征图进行融合,经过交叉注意力计算并输出,获取最终特征图;

步骤4、将最终特征图输入到由三个卷积分支组成的预测头内,根据三个分支的预测结果,以确定最终的边界框;

在所述步骤3中,基于经过数据集训练后的多尺度特征提取网络模型,对应的运算机制如下:其中,

基于经过数据集训练后的多尺度特征提取网络模型对模板图像和搜索图像进行特征提取,以得到包含局部信息和全局信息的模板特征图和搜索特征图的过程具体包括如下步骤:步骤3.1、将特征输入多尺度聚合注意力中,使用滑动窗口将查询向量分为多个组;

步骤3.2、将每个组的查询向量设置不同大小的滑动窗口进行特征映射得到不同尺度的键向量和值向量;

步骤3.3、对获取的多组查询向量以及多组不同尺度的键向量和值向量进行注意力计算,最后将所有组的注意力进行加权,得到多尺度注意力输出;

步骤3.4、以模板图像和搜索图像分别重复步骤3.1至步骤3.3,分别得到模板图像多尺度注意力输出和搜索图像多尺度注意力输出;

步骤3.5、将模板图像多尺度注意力输出和搜索图像多尺度注意力输出分别经过交叉注意力计算,得到包含局部信息和全局信息的模板特征图以及搜索特征图;

在所述步骤4中,将最终特征图输入到由三个卷积分支组成的预测头内,根据三个分支的预测结果,以确定最终的边界框的方法具体包括如下步骤:三个卷积分支分别为中心分类、偏移回归和尺寸回归;

融合后的最终特征图经过中心分类分支输出一个中心度分数图,其过程关系式如下:其中,

融合后的最终特征图经过偏移回归分支输出中心的离散化误差,其过程关系式如下:其中,

融合后的最终特征图经过尺寸回归分支预测目标的高度和宽度,其过程关系式如下:其中,

选择中心分数图中置信度最高的位置作为目标位置,并使用相应的回归坐标计算一个边界框作为最终预测,其过程关系式如下:其中,

2.根据权利要求1所述的基于多尺度聚合注意力特征提取网络的目标跟踪方法,其特征在于,将每个组的查询向量设置不同大小的滑动窗口进行特征映射得到不同尺度的键向量的过程存在如下关系式:其中,

将每个组的查询向量设置不同大小的滑动窗口进行特征映射得到不同尺度的值向量的过程存在如下关系式:其中,

对获取的多组查询向量以及多组不同尺度的键向量和值向量进行注意力计算,得到多尺度聚合注意力输出,过程存在的关系式如下:其中,

3.根据权利要求1所述的基于多尺度聚合注意力特征提取网络的目标跟踪方法,其特征在于,将模板图像多尺度注意力输出经过交叉注意力计算,得到包含局部信息注意力和包含全局信息的特征图的过程存在如下关系式:其中,

将搜索图像多尺度注意力输出经过交叉注意力计算,得到包含局部信息和全局信息的特征图过程存在如下关系式:其中,

4.根据权利要求3所述的基于多尺度聚合注意力特征提取网络的目标跟踪方法,其特征在于,在所述步骤3中,将模板特征图和搜索特征图进行融合,经过交叉注意力计算并输出,获取最终特征图的过程存在如下关系式:其中,

5.根据权利要求1所述的基于多尺度聚合注意力特征提取网络的目标跟踪方法,其特征在于,在执行上述步骤1至步骤4中,训练时将焦点损失和广义GIoU损失结合起来并通过调整权重因子来平衡这些损失函数,所涉及的函数公式为:焦点损失函数:

其中,

广义GIoU损失函数:

其中,

总体损失函数:

其中,

6.基于多尺度聚合注意力特征提取网络的目标跟踪系统,其特征在于,所述系统应用如上述权利要求1至5任意一项所述的基于多尺度聚合注意力特征提取网络的目标跟踪方法,所述系统包括:网络模型构建模块,在Transformer的网络结构下,通过在浅层设置多尺度聚合注意力,在深层设置交叉注意力构建多尺度特征提取网络;

模型训练模块,使用多种大规模数据集对所构建的多尺度特征提取网络进行训练,并对所构建的多尺度特征提取网络中多尺度聚合注意力的参数进行调整;

特征提取融合模块,基于经过数据集训练后的多尺度特征提取网络模型对模板图像和搜索图像进行特征提取,以得到包含局部信息和全局信息的模板特征图和搜索特征图,将模板特征图和搜索特征图进行融合,经过交叉注意力计算并输出,获取最终特征图;

预测模块,将最终特征图输入到由三个卷积分支组成的预测头内,根据三个分支的预测结果,以确定最终的边界框。