欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023103728490
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于上下文自注意力学习深度网络的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤一、在孪生网络框架下,基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型,所述特征提取网络模型用于将Transformer中的动态自注意力机制的动态上下文信息与卷积的静态上下文信息进行聚合集成,并分别提取模板分支上的目标模板图像特征以及搜索分支上的搜索区域图像特征;

步骤二、通过所述深度卷积神经网络在所述模板分支与搜索分支上提取得到浅层目标局部信息,通过所述上下文自注意力学习模块,结合动态自注意力机制在模板分支与搜索分支中提取目标全局上下文信息,将所述浅层目标局部信息与所述目标全局上下文信息进行融合以得到融合信息,所述上下文自注意力学习模块用于将上下文信息与动态自注意力机制集成到特征提取网络模型中,利用输入键之间的上下文信息来指导动态注意力矩阵的学习,以增强目标特征表示能力;

步骤三:利用大规模数据集,对所述特征提取网络模型进行预训练,并结合区域建议网络对所述特征提取网络模型的参数进行调整;

步骤四:利用预训练后的所述特征提取网络模型,在所述模板分支与所述搜索分支中分别提取得到目标模板图像特征以及搜索区域图像特征,并将提取后的所述目标模板图像特征以及所述搜索区域图像特征输入至所述区域建议网络中;

步骤五:利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征,在分类分支和回归分支上分别进行特征融合深度卷积计算,以得到对应的相似度得分图;

步骤六:根据所述相似度得分图,将最大相似度得分值对应的相似度得分图确定为跟踪定位目标;

在所述步骤二中,在所述上下文自注意力学习模块中,目标特征图 表示为 ;

其中,表示实数矩阵, 表示目标特征图的高度, 表示目标特征图的宽度,表示目标特征图的通道数;

目标特征图 的键 表示为:

目标特征图 的查询 表示为:

目标特征图 的值 表示为:

其中, 表示卷积操作, 表示所输入的嵌入矩阵;

所述上下文自注意力学习模块提取得到的目标特征图的方法包括如下步骤:对所有相邻的键 进行 卷积,用于使得键 有效捕获相邻键之间的上下文信息,对应的公式表示为:;

其中, 表示卷积权重,表示局部相邻键之间的静态上下文信息;

将局部相邻键之间的静态上下文信息 与查询 进行拼接,通过两个连续的 卷积得到注意力矩阵,对应的公式表示为:;

其中, 表示拼接操作, 表示带有ReLU激活函数的权重系数, 表示不带有激活函数的权重系数, 表示基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵;

将基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵 与自注意力机制中所有值 进行聚集以得到目标特征图的上下文表示 ,对应的计算公式表示为:;

将目标特征图的上下文表示 与局部相邻键之间的静态上下文信息 进行融合,以得到通过上下文自注意力学习模块后的特征图 ,对应的计算公式表示为:;

其中,表示融合操作。

2.根据权利要求1所述的基于上下文自注意力学习深度网络的目标跟踪方法,其特征在于,在所述步骤五中,利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征,在分类分支和回归分支上分别进行特征融合深度卷积计算的步骤中,进行深度卷积计算的公式表示为:;

其中, 表示跟踪目标的分类特征图, 表示模板分支的分类特征图,表示搜索分支的分类特征图, 表示跟踪目标的回归特征图,表示模板分支的回归特征图, 表示搜索分支的回归特征图,表示深度卷积计算。

3.根据权利要求2所述的基于上下文自注意力学习深度网络的目标跟踪方法,其特征在于,在计算得到了分类特征图与回归特征图之后,所述方法还包括:将分类特征图与回归特征图分别进行加权求和,对应的公式表示为:;

其中, 表示目标特征分类分数特征图, 表示第 个卷积块分类特征图的深度卷积结果的权重, 表示第 个卷积块分类特征图的深度卷积结果, 表示目标特征回归分数特征图, 表示第 个卷积块回归特征图的深度卷积结果的权重, 表示第个卷积块回归特征图的深度卷积的结果。

4.根据权利要求3所述的基于上下文自注意力学习深度网络的目标跟踪方法,其特征在于,目标特征分类分数特征图 通过三个卷积块分别经过区域建议网络得到,且具有两个通道;

目标特征回归分数特征图 通过三个卷积块分别经过区域建议网络得到,且具有四个通道。

5.一种基于上下文自注意力学习深度网络的目标跟踪系统,其特征在于,应用如上述权利要求1至4任一项所述的基于上下文自注意力学习深度网络的目标跟踪方法,所述系统包括:模型构建模块,用于:

在孪生网络框架下,基于深度卷积神经网络与上下文自注意力学习模块构建得到特征提取网络模型,所述特征提取网络模型用于将Transformer中的动态自注意力机制的动态上下文信息与卷积的静态上下文信息进行聚合集成,并分别提取模板分支上的目标模板图像特征以及搜索分支上的搜索区域图像特征;

第一提取模块,用于:

通过所述深度卷积神经网络在所述模板分支与搜索分支上提取得到浅层目标局部信息,通过所述上下文自注意力学习模块,结合动态自注意力机制在模板分支与搜索分支中提取目标全局上下文信息,将所述浅层目标局部信息与所述目标全局上下文信息进行融合以得到融合信息,所述上下文自注意力学习模块用于将上下文信息与动态自注意力机制集成到特征提取网络模型中,利用输入键之间的上下文信息来指导动态注意力矩阵的学习,以增强目标特征表示能力;

预训练模块,用于:

利用大规模数据集,对所述特征提取网络模型进行预训练,并结合区域建议网络对所述特征提取网络模型的参数进行调整;

第二提取模块,用于:

利用预训练后的所述特征提取网络模型,在所述模板分支与所述搜索分支中分别提取得到目标模板图像特征以及搜索区域图像特征,并将提取后的所述目标模板图像特征以及所述搜索区域图像特征输入至所述区域建议网络中;

卷积计算模块,用于:

利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征,在分类分支和回归分支上分别进行特征融合深度卷积计算,以得到对应的相似度得分图;

目标跟踪模块,用于:

根据所述相似度得分图,将最大相似度得分值对应的相似度得分图确定为跟踪定位目标;

在所述上下文自注意力学习模块中,目标特征图 表示为 ;

其中,表示实数矩阵, 表示目标特征图的高度, 表示目标特征图的宽度,表示目标特征图的通道数;

目标特征图 的键 表示为:

目标特征图 的查询 表示为:

目标特征图 的值 表示为:

其中, 表示卷积操作, 表示所输入的嵌入矩阵;

所述上下文自注意力学习模块还用于:

对所有相邻的键 进行 卷积,用于使得键 有效捕获相邻键之间的上下文信息,对应的公式表示为:;

其中, 表示卷积权重,表示局部相邻键之间的静态上下文信息;

将局部相邻键之间的静态上下文信息 与查询 进行拼接,通过两个连续的 卷积得到注意力矩阵,对应的公式表示为:;

其中, 表示拼接操作, 表示带有ReLU激活函数的权重系数, 表示不带有激活函数的权重系数, 表示基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵;

将基于查询特征与全局上下文消息的键特征在空间位置的注意力矩阵 与自注意力机制中所有值 进行聚集以得到目标特征图的上下文表示 ,对应的计算公式表示为:;

将目标特征图的上下文表示 与局部相邻键之间的静态上下文信息 进行融合,以得到通过上下文自注意力学习模块后的特征图 ,对应的计算公式表示为:;

其中,表示融合操作。

6.根据权利要求5所述的基于上下文自注意力学习深度网络的目标跟踪系统,其特征在于,所述卷积计算模块用于:利用所述区域建议网络分别对提取后得到的所述目标模板图像特征以及所述搜索区域图像特征,在分类分支和回归分支上分别进行特征融合深度卷积计算,以得到对应的相似度得分图,对应的公式表示为:;

其中, 表示跟踪目标的分类特征图, 表示模板分支的分类特征图,表示搜索分支的分类特征图, 表示跟踪目标的回归特征图, 表示模板分支的回归特征图, 表示搜索分支的回归特征图, 表示深度卷积计算。

7.根据权利要求6所述的基于上下文自注意力学习深度网络的目标跟踪系统,其特征在于,所述目标跟踪系统还用于:将分类特征图与回归特征图分别进行加权求和,对应的公式表示为:;

其中, 表示目标特征分类分数特征图, 表示第 个卷积块分类特征图的深度卷积结果的权重, 表示第 个卷积块分类特征图的深度卷积结果, 表示目标特征回归分数特征图, 表示第 个卷积块回归特征图的深度卷积结果的权重, 表示第个卷积块回归特征图的深度卷积的结果。

8.根据权利要求7所述的基于上下文自注意力学习深度网络的目标跟踪系统,其特征在于,目标特征分类分数特征图 通过三个卷积块分别经过区域建议网络得到,且具有两个通道;

目标特征回归分数特征图 通过三个卷积块分别经过区域建议网络得到,且具有四个通道。