欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024101065609
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于级联注意力的单流单阶段网络目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤1、在单流单阶段框架下,基于Transformer网络模型以及特征增强模块,构建得到主干特征提取与融合模块,主干特征提取与融合模块、头部角点模块、和分数头部预测模块构成单流单阶段整体模型;

步骤2、获取模板图像以及搜索图片,模板图像包括包含有若干所需跟踪目标的初始模板和若干包含目标状态的在线模板;

步骤3、将模板图像以及搜索图片输入至单流单阶段整体模型中,通过主干特征提取与融合模块提取模板图像以及搜索图片对应的局部特征信息;

将局部特征信息输入特征增强模块中,利用级联注意力对局部语义信息进行聚合以实现特征增强,得到模板图像和搜索图片的全局上下文信息;

对模板图像和搜索图片的全局上下文信息进行交叉注意力计算以实现通信,获得结果特征图;

步骤4、将结果特征图分割为模板图像和搜索图片,并作为下一阶段的输入,采用迭代的方式重复步骤3若干次,得到最终的结果特征图;

步骤5、将最终的结果特征图输入头部角点模块中预测每个目标位置的置信度得分,并根据置信度得分确定跟踪目标所在位置以实现目标跟踪;

并将结果特征图输入分数头部预测模块中,以预测每个目标状态的置信度得分,根据目标状态的置信度得分来确定是否将所预测的目标状态作为下一阶段在线跟踪过程中的在线模板;

步骤6、利用大规模数据集为基础重复步骤2至步骤4,对单流单阶段整体模型进行预训练以优化模型参数;

步骤7、利用训练好的单流单阶段整体模型对视频序列进行目标在线跟踪;

在所述步骤3中,将模板图像以及搜索图片输入至单流单阶段整体模型中,通过主干特征提取与融合模块提取模板图像以及搜索图片对应的局部特征信息的方法具体包括如下步骤:对于每个模板图像,其初始形状为 状,首先对其进行词嵌入操作,再经过卷积操作,得到结果,其形状为 ,接着把它们从二维拉伸为一维,即重塑为,在此令 ,其中, 表示模板令牌的长度, 分别表示初始模板图像的长、宽、通道数, 分别表示经过卷积后的模板图像的长、宽、通道数;

对于每个搜索图像,其初始形状为 状,也同样的会对其进行词嵌入操作,再经过卷积操作,得到结果,其形状为 状,接着把它们从二维拉伸为一维,即重塑为 ,在此令 ,其中, 表示搜索令牌的长度, 分别表示初始搜索图像的长、宽、通道数, 分别表示经过卷积后的搜索模板图像的长、宽、通道数,且 , , ;

在所述步骤3中,利用级联注意力对局部语义信息进行聚合以实现特征增强,得到模板图像和搜索图片的全局上下文信息的方法具体包括如下步骤:总输入令牌包括模板令牌和搜索令牌,模板令牌包括一个初始模板令牌和若干在线模板令牌,将模板令牌和搜索令牌进行拼接,拼接过程存在如下关系式:;

其中, 表示拼接函数, 表示总输入令牌, 表示总输入令牌中的初始模板令牌, 表示总输入令牌中的若干在线模板令牌,其形状为 , 表示总输入令牌中的搜索令牌,其形状为 ;

将总输入令牌转换为二维图像,转换过程存在如下关系式:;

其中, 表示第 个二维图像, 表示第 个输入令牌, 表示将一维向量转变为二维图片的函数;

再将二维图像输入到自注意力增强函数中进行特征提取,得到每个图像对应的增强令牌,利用自注意力增强函数进行特征提取的过程存在如下关系式:;

其中, 表示自注意力增强函数, 表示第 个增强令牌;

将关于模板图像部分的增强令牌进行连接,增强令牌连接的过程存在如下关系式:;

其中, 表示模板图像部分的令牌拼接所得的模板结果令牌, 表示拼接函数;

对模板图像和搜索图片的全局上下文信息进行交叉注意力计算以实现通信,获得结果特征图的方法具体包括如下步骤:利用模板结果令牌和搜索图像对应的增强令牌生成查询、键、值,查询、键、值的生成过程存在如下关系式;

;

;

其中, 表示关于增强令牌的查询、键、值, 分别表示对关于增强令牌的查询、键、值的卷积操作;

对查询、键、值进行交叉注意力计算,交叉注意力计算过程存在如下关系式:;

其中, 表示经过交叉注意力后的搜索令牌, 表示键的维度, 表示矩阵转置状态,表示用于计算注意力权重的softmax函数,以将原始的注意力分数转化为概率分布,确保所有位置的权重都在0到1之间,并且它们的总和等于1;

将交叉注意力计算结果与模板结果令牌进行拼接,得到总令牌,将交叉注意力计算结果与模板结果令牌进行拼接的过程存在如下关系式:;

其中, 表示经过交叉注意力后的总令牌;

将总令牌依次通过层归一化和多层感知器,得到结果特征图,将总令牌依次通过层归一化和多层感知器的过程存在如下关系式:;

;

其中, 表示暂存结果状态, 表示当前计算部分的输出, 表示多层感知器, 表示层归一化函数;

将二维图像输入到自注意力增强函数中进行特征提取,得到每个图像对应的增强令牌的方法具体包括如下步骤:将第 个二维图像 和第 个注意力头输出令牌 相加作为新的第 个二维图像 ,其过程表达式如下:;

其中, 表示第 个注意力头, 表示新的第 个二维图像;

采用自注意力的方式将第 个二维图像 作为新的输入来计算新的第 个注意力头,以下记为 ,其过程表达式如下:;

;

其中, 表示自注意力函数, 分别表示对关于第i个增强令牌的查询、键、值的卷积操作, 表示键的维度;

在以卷积运算的形式连接所有新的注意力头的输出之后,再应用普通卷积操作,来增强特征的局部信息,得到每个图像对应的增强令牌,其过程表达式如下:;

其中, 表示普通卷积操作;

在所述步骤5中,将结果特征图输入分数头部预测模块中,以预测每个目标状态的置信度得分,根据目标状态的置信度得分来确定是否将所预测的目标状态作为下一阶段在线跟踪过程中的在线模板的方法具体包括如下步骤:将学习的分数令牌 生成参与搜索感兴趣区域令牌的查询,其过程表达式如下:;

其中, 表示对 的查询卷积操作, 表示关于搜索感兴趣区域令牌的查询,表示学习的分数令牌,其中形状为1×C;

再从结果特征图中自适应的提取重要区域特征,并利用重要区域特征生成键、值,其过程表达式如下:;

;

;

其中, 表示结果特征图, 、 分别表示关于重要区域特征键、值, 表示用于自适应提取重要区域特征的ROI函数, 表示重要区域特征, 表示对重要区域特征的键卷积操作, 表示对重要区域特征的值卷积操作;

再对利用查询、键、值计算注意力权重,并将注意力权重依次通过多层感知器和Sigmoid激活函数,得到预测得分,其过程表达式如下:;

;

其中, 表示注意力输出的注意力权重, 表示用于生成0到1得分的激活函数, 表示置信度得分;

当置信度得分低于0.5时,该在线模板将被视为阴性,表示不会被更新,否则,视为阳性,表示对在线模板进行更新,将所预测的目标状态作为下一阶段在线跟踪过程中的在线模板。

2.一种基于级联注意力的单流单阶段网络目标跟踪系统,其特征在于,所述系统应用如权利要求1所述的基于级联注意力的单流单阶段网络目标跟踪方法,所述系统包括:构建模块,用于:

在单流单阶段框架下,基于Transformer网络模型以及特征增强模块,构建得到主干特征提取与融合模块,主干特征提取与融合模块、头部角点模块、和分数头部预测模块构成单流单阶段整体模型;

学习模块,用于:

获取模板图像以及搜索图片,模板图像包括包含有若干所需跟踪目标的初始模板和若干包含目标状态的在线模板;

将模板图像以及搜索图片输入至单流单阶段整体模型中,通过主干特征提取与融合模块提取模板图像以及搜索图片对应的局部特征信息;

将局部特征信息输入特征增强模块中,利用级联注意力对局部语义信息进行聚合以实现特征增强,得到模板图像和搜索图片的全局上下文信息;

对模板图像和搜索图片的全局上下文信息进行交叉注意力计算以实现通信,获得结果特征图;

提取模块,用于:

将结果特征图分割为模板图像和搜索图片,并作为下一阶段的输入,采用迭代的方式重复特征提取若干次,得到最终的结果特征图;

计算模块,用于:

将最终的结果特征图输入头部角点模块中预测每个目标位置的置信度得分,并根据置信度得分确定跟踪目标所在位置以实现目标跟踪;

并将结果特征图输入分数头部预测模块中,以预测每个目标状态的置信度得分,根据目标状态的置信度得分来确定是否将所预测的目标状态作为下一阶段在线跟踪过程中的在线模板;

预训练模块,用于:

利用大规模数据集为基础对单流单阶段整体模型进行预训练以优化模型参数;

跟踪模块,用于:

利用训练好的单流单阶段整体模型对视频序列进行目标在线跟踪。