欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2022114198953
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤一:

在双分支网络框架中,对模板分支的图像以及搜索区域分支的图像进行初始化以分别生成目标模板图像和搜索区域图像;

通过权值共享的卷积神经网络对所述目标模板图像以及所述搜索区域图像分别提取特征,以分别获得目标模板特征以及搜索区域特征;

对所述目标模板特征进行上采样,以获得与所述搜索区域特征相同大小的目标模板深度特征;

步骤二:

构建基于空间一致性匹配与模板特征权重学习的特征融合网络模型;其中,所述特征融合网络模型用于对所述双分支网络框架中的所述目标模板深度特征和所述搜索区域特征进行相似度计算以获得最终置信度图;

步骤三:

通过所述特征融合网络模型中的空间一致性匹配模块建立目标模板图像与搜索区域图像的空间一致性对应关系;

采用克罗内克积对所述目标模板深度特征和所述搜索区域特征进行计算,以获得所述目标模板深度特征以及所述搜索区域特征之间的张量信息,并对张量信息进行空间归一化处理以获得匹配置信度图;

步骤四:

通过所述特征融合网络中的模板特征权重学习模块,对所述目标模板深度特征中不显著的特征进行权重抑制;

将所述目标模板深度特征分别输入到所述模板特征权重学习模块的通道注意力子模块和空间注意力子模块中,以分别得到空间注意力子图和通道注意力子图;

对所述空间注意力子图和通道注意力子图进行逐元素相加以获得注意力图,所述注意力图用于对不重要的元素进行抑制;

对所述注意力图进行空间归一化以获得目标特征权重,将所述目标特征权重与所述匹配置信度图进行逐元素相乘计算以进一步突出目标特征的权重值;

步骤五:

采用大规模数据集对空间一致性匹配模块与模板特征权重学习模块进行训练,并对所述特征融合网络模型中的参数进行优化,以获得最终置信度图;

步骤六:

对所述最终置信度图中得分最高的目标候选块进行目标跟踪。

2.根据权利要求1所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,在所述步骤一中,对所述目标模板特征进行上采样,以获得与所述搜索区域特征相同大小的目标模板深度特征的步骤中:搜索区域特征表示为 ,目标模板深度特征表示为;

其中, 表示搜索区域特征, 表示目标模板深度特征, 表示搜索区域特征中每个像素位置上的通道特征向量,表示目标模板深度特征中每个像素位置上的通道特征向量, 表示特征图中的像素个数, 的取值范围均为 。

3.根据权利要求2所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,在所述步骤三中,在空间一致性匹配模块中,对每一对 与 进行内积计算,并对搜索区域特征 中的所有空间位置进行归一化以得到相对概率,对应的公式表示为:;

其中, 表示通道特征向量 与通道特征向量 之间的相对概率,表示用于拉大之间差距的温度超参数, , 表示转置操作。

4.根据权利要求3所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,在空间一致性匹配模块中,采用克罗内克积对所述目标模板深度特征和所述搜索区域特征进行计算一个张量,张量 的计算公式表示为:;

将目标模板深度特征 具体到每个位置的特征向量,将搜索区域特征 具体到每个位置的特征向量,上述的张量 的计算公式表示为:;

其中, 表示根据特征向量计算得到的张量, 表示目标模板深度特征每个位置的特征向量, 表示搜索区域特征 每个位置的特征向量,张量 的维度为 , 表示高度, 表示宽度。

5.根据权利要求4所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,在所述步骤三中,对张量信息进行空间归一化处理以获得匹配置信度图的公式表示为:;

其中, 表示匹配置信度图, 表示归一化操作。

6.根据权利要求5所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,在得到了所述匹配置信度图之后,对所述匹配置信度图进行特征对齐以获得对齐特征向量,对齐特征向量的计算公式表示为:;

其中, 表示对齐特征向量, 表示由搜索区域特征 与匹配置信度图通过矩阵乘法计算得到的特征向量, 表示 个空间位置的随机变量,当与 相匹配时 , 表示搜索区域深度特征中与目标模板深度特征相对应的特征向量, 表示期望。

7.根据权利要求6所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,在所述步骤四中,将所述目标模板深度特征分别输入到所述模板特征权重学习模块的通道注意力子模块和空间注意力子模块中,以分别得到空间注意力子图和通道注意力子图的步骤中,通道注意力子图的计算公式表示为:;

其中, 表示通道注意力子图, 表示激活函数操作, 表示第一权重,, 均为第一尺度比例因子;

在通道注意力子模块中批量归一化后的输出表示为:;

其中, 表示通道注意力子模块中批量归一化后的输出, 表示批量归一化处理, 表示小批次 的平均值, 表示小批次 的标准偏差,表示数值稳定性值, 表示可学习移位变换参数的正值,表示第二尺度比例因子;

空间注意力子图的计算公式表示为:

其中, 表示空间注意力子图, 表示第二权重, 表示将批量归一化处理后的数据应用于空间维度以测量像素的重要性。

8.根据权利要求7所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,在所述步骤四中,所述注意力图的计算公式表示为:;

其中, 表示注意力图, , 表示通道数;

对注意力图 中每个通道 进行空间归一化的计算公式表示为:;

其中, 表示进行空间归一化处理后的通道, , ;

所述模板特征权重学习模块对应的损失函数表示为:;

其中, 表示模板特征权重学习模块对应的损失函数, 表示损失函数操作, 表示范数惩罚函数操作, 表示用于平衡第一范数惩罚函数 与第二范数惩罚函数 的惩罚系数, 表示模板特征权重学习模块的权重。

9.根据权利要求8所述的基于空间一致性匹配与权重学习的目标跟踪方法,其特征在于,最终置信度图表示为:;

其中, 表示最终置信度图, 表示每个像素的特征权重。

10.一种基于空间一致性匹配与权重学习的目标跟踪系统,其特征在于,所述系统应用如上述权利要求1至9任意一项所述的基于空间一致性匹配与权重学习的目标跟踪方法,所述系统包括:特征提取模块,用于:

在双分支网络框架中,对模板分支的图像以及搜索区域分支的图像进行初始化以分别生成目标模板图像和搜索区域图像;

通过权值共享的卷积神经网络对所述目标模板图像以及所述搜索区域图像分别提取特征,以分别获得目标模板特征以及搜索区域特征;

对所述目标模板特征进行上采样,以获得与所述搜索区域特征相同大小的目标模板深度特征;

模型构建模块,用于:

构建基于空间一致性匹配与模板特征权重学习的特征融合网络模型;其中,所述特征融合网络模型用于对所述双分支网络框架中的所述目标模板深度特征和所述搜索区域特征进行相似度计算以获得最终置信度图;

第一计算模块,用于:

通过所述特征融合网络模型中的空间一致性匹配模块建立目标模板图像与搜索区域图像的空间一致性对应关系;

采用克罗内克积对所述目标模板深度特征和所述搜索区域特征进行计算,以获得所述目标模板深度特征以及所述搜索区域特征之间的张量信息,并对张量信息进行空间归一化处理以获得匹配置信度图;

第二计算模块,用于:

通过所述特征融合网络中的模板特征权重学习模块,对所述目标模板深度特征中不显著的特征进行权重抑制;

将所述目标模板深度特征分别输入到所述模板特征权重学习模块的通道注意力子模块和空间注意力子模块中,以分别得到空间注意力子图和通道注意力子图;

对所述空间注意力子图和通道注意力子图进行逐元素相加以获得注意力图,所述注意力图用于对不重要的元素进行抑制;

对所述注意力图进行空间归一化以获得目标特征权重,将所述目标特征权重与所述匹配置信度图进行逐元素相乘计算以进一步突出目标特征的权重值;

参数训练模块,用于:

采用大规模数据集对空间一致性匹配模块与模板特征权重学习模块进行训练,并对所述特征融合网络模型中的参数进行优化,以获得最终置信度图;

目标跟踪模块,用于:

对所述最终置信度图中得分最高的目标候选块进行目标跟踪。