欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2023101217062
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-12-11
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤一:在双分支网络目标跟踪框架下,基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络;其中,所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征;

步骤二:将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块;

步骤三:在双分支网络目标跟踪框架下,基于互相关操作以及特征过滤器构建得到特征融合网络,并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合,以获得中间融合特征;

步骤四:将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征,通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图;

步骤五:对分数预测图中得分最高的目标候选块进行目标跟踪。

2.根据权利要求1所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,在所述步骤二中,所述将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块的方法包括如下步骤:将卷积分支中的批归一化删除,利用线性缩放层取代批归一化的位置,并在所有卷积分支之后分别加入一个无批次归一化层以实现对卷积分支的压缩;

在卷积层之后,利用线性缩放层对通道维度上的特征进行缩放,用于增大感受野的同时以获得更丰富的通道信息;

将单个卷积分支中的N层压缩为一层,并依次对D个卷积分支进行压缩,以得到一个单一卷积块;

将所有卷积分支合并之后得到的单一卷积块输入至所添加的无批次归一化层中;

将所述无批次归一化层的输出作为输入,输入到激活函数中以最终构建得到所述无批次归一化重参数卷积模块。

3.根据权利要求2所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,在将卷积分支中的批归一化删除,利用线性缩放层取代批归一化的位置,并在所有卷积分支之后分别加入一个无批次归一化层以实现对卷积分支的压缩的步骤中,在压缩前存在D个卷积分支,每个卷积分支进行N层卷积运算,每层卷积的通道数用 表示,即, 表示第N层卷积的通道数;

进行卷积操作的公式表述为:

其中, 表示卷积层的输入, 表示第N层卷积层的输出, 表示输入到输出的映射矩阵, , , 表示实数集, 表示输入的通道数, 表示高度, 表示宽度;

整个卷积分支输入到输出的映射矩阵表示为:

其中, 为第N层的映射矩阵。

4.根据权利要求3所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,在卷积层之后,利用线性缩放层对通道维度上的特征进行缩放的步骤中,线性缩放层的计算输出表示为:;

其中, 表示通过线性缩放层后的输出, 表示比例因子, 表示第c个输出通道的卷积核。

5.根据权利要求4所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,将单个卷积分支中的N层压缩为一层,并依次对D个卷积分支进行压缩,以得到一个单一卷积块的步骤中,进行压缩操作的公式表示为:;

其中, 为第d个分支的权值, 表示经过压缩操作之后的输出, 表示第D个卷积分支的权值。

6.根据权利要求5所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,将所有卷积分支合并之后得到的单一卷积块输入至所添加的无批次归一化层中的步骤中,无批次归一化层的公式表示为:;

其中, 表示通过均值进行数据标准化得到的结果, 表示通过标准差进行数据标准化得到的结果, 和 分别表示同一通道特征值的均值与标准差,为批处理维度上的索引, 表示无批次归一化层的输出, 表示无批次归一化层处理, 表示比例因子, 为可学习的移位变换参数;

将所述无批次归一化层的输出作为输入,输入到激活函数中的步骤中,对应有如下公式:;

其中, 表示激活函数, 为无批次归一化层的输出。

7.根据权利要求6所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,所述步骤三具体包括:通过所述特征提取子网络对目标模板分支与搜索区域分支进行提取以得到目标模板深度特征以及搜索区域深度特征,将目标模板深度特征与搜索区域深度特征输入至特征过滤器中,特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询 、键K和值V;

对查询 与键K进行一维卷积投影得到 和 ,随后对 和 进行缩放点积运算;

通过对值V进行一维卷积投影得到 ,利用注意力权重 对有利信息特征进行增强,以得到中间融合特征。

8.根据权利要求7所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,特征过滤器通过卷积运算将目标模板深度特征与搜索区域深度特征分别投影得到查询 、键K和值V的步骤中,对应有如下公式:;

其中, 表示 核的卷积算子, 表示 核的卷积算子, 表示目标模板深度特征, 表示搜索区域深度特征, , ,, 均为定值。

9.根据权利要求8所述的一种基于重参数卷积和特征过滤器的目标跟踪方法,其特征在于,对查询 与键K进行一维卷积投影得到 和 ,随后对 和 进行缩放点积运算的步骤中,对应有如下公式:;

其中, 表示特征过滤器的注意力权重, 表示归一化函数, 表示转置操作;

通过对值V进行一维卷积投影得到 ,利用注意力权重 对有利信息特征进行增强,以得到中间融合特征的步骤中,对应有如下公式:;

其中, 表示特征过滤器输出的中间融合特征。

10.一种基于重参数卷积和特征过滤器的目标跟踪系统,其特征在于,应用如上述权利要求1至9任意一项所述的基于重参数卷积和特征过滤器的目标跟踪方法,所述系统包括:第一构建模块,用于:

在双分支网络目标跟踪框架下,基于深度卷积神经网络与无批次归一化重参数卷积模块构建得到特征提取子网络;其中,所述特征提取子网络用于分别对目标模板分支与搜索区域分支进行特征提取以得到目标模板深度特征以及搜索区域深度特征;

第二构建模块,用于:

将多个卷积分支压缩成一个单一的卷积块以构建得到所述无批次归一化重参数卷积模块;

第一融合模块,用于:

在双分支网络目标跟踪框架下,基于互相关操作以及特征过滤器构建得到特征融合网络,并通过所述特征融合网络中的特征过滤器对所述目标模板深度特征以及所述搜索区域深度特征在全局空间背景下进行融合,以获得中间融合特征;

第二融合模块,用于:

将所述目标模板深度特征通过跟踪模型进行优化以获得最终的模板特征,通过互相关操作对所述中间融合特征以及所述最终的模板特征进行融合以得到分数预测图;

目标跟踪模块,用于:

对分数预测图中得分最高的目标候选块进行目标跟踪。