欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022109934957
申请人: 南昌工程学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-26
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤一、对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集,在除所述前三帧目标框之外的后续帧目标框中,以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域,通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像;

步骤二、在孪生神经网络框架中,通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后,以构建得到层次化特征提取模块,其中,所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成,所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容;

步骤三、将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中,通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习,以得到相应的模板特征与搜索特征;

步骤四、将经过层次化特征提取网络处理后得到的模板特征输入到编码器中,使得单个模板特征进行增强,以获得编码特征;

步骤五、通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中,其中,编码特征作为查询,模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征,用于使跟踪器更适应目标尺度变化;

步骤六、将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器,以得到用于定位目标的得分图,进而实现鲁棒的目标跟踪。

2.根据权利要求1所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,在所述步骤二中,所述特征识别器模块的操作方法包括如下步骤:对所述模板特征与所述搜索特征采用平均池化操作以聚合每个通道的特征图,其中对每个通道而言,通过可学习尺度变化参数进行批处理归一层;

根据所述可学习尺度变化参数构建得到一个权重矩阵,通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图;

通过特征识别器模块对所述模板特征与所述搜索特征,使用两个3×3大小的扩张卷积用来扩大感受野,然后将经过扩张卷积处理后的所述模板特征与所述搜索特征,通过一个1×1大小的卷积将所述模板特征与所述搜索特征缩减得到空间特征图;

根据通道特征图与空间特征图计算得到三维注意图。

3.根据权利要求2所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,通过可学习尺度变化参数进行批处理归一层的步骤中,批处理归一层的公式表示为:其中, 表示第 个通道的批处理归一层的输出特征, 表示第 个通道的可学习尺度变化参数, 表示第 个通道的批处理归一化运算, 表示批处理归一层中可学习的位移变换参数, 表示第 个通道的批处理归一层的输入特征, 表示平均值,表示变化值, 表示数值稳定性的正值。

4.根据权利要求3所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,在根据所述可学习尺度变化参数构建得到一个权重矩阵,通过所述权重矩阵进行动态调整目标特征权重值以获得一个通道特征图的步骤中,所述通道特征图的公式表示为:其中, 表示通道特征图, 表示阈值函数, 表示平均池

化操作, 表示批处理归一化操作, 表示输入特征, 表示权重矩阵, 表示输入特征 中第 行第 列位置的特征张量, , 表示第 行的缩放因子值, 表示第 列的缩放因子值。

5.根据权利要求4所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,所述空间特征图的公式表示为:其中, 表示空间特征图, 表示可学习尺度变换参数矩阵, 表示一个1×1的卷积运算, 表示第一个3×3的卷积运算, 表示第二个3×3的卷积运算,表示空间分支中的可学习尺度变化参数。

6.根据权利要求5所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,所述三维注意图对应的公式表示为: 其中, 表示三维注意图, 表示sigmoid函数;

其中, 表示特征识别器模块的输出特征, 表示输入特征, 表示局部矩阵乘法。

7.根据权利要求6所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,所述特征识别器模块对应的损失函数表示为:其中, 表示损失函数值, 表示损失函数, 表示特征识别器模块的预测函数, 表示特征识别器模块的权重, 表示针对 的惩罚函数, 表示针对 的惩罚函数, 表示用于平衡 和 的罚量, 表示空间分支中的可学习尺度变化参数, 表示通道分支中的可学习尺度变化参数。

8.根据权利要求7所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,在所述步骤五中,通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中,对应的计算公式表示为:其中, 表示第一可学习参数, 表示第二可学习参数, 表示第三可学习参数,表示维度对齐投影函数, 表示第一编码特征, 表示模板特征,表示将多个模板特征进行拼接后所得到的模板特征集, 表示掩码集合。

9.根据权利要求8所述的一种基于多尺度层次化特征表示的目标跟踪方法,其特征在于,在得到了第一可学习参数 与第二可学习参数 之后,所述方法还包括:基于所述第一可学习参数 与所述第二可学习参数 ,采用交叉注意力机制计算得到交叉注意图;

所述交叉注意图对应的计算公式表示为:

其中, 表示交叉注意图, 表示归一化函数, 表示嵌入维度, 表示多头数, 表示转置操作。

10.一种基于多尺度层次化特征表示的目标跟踪系统,其特征在于,所述系统包括:初始化模块,用于:

对给定的前三帧目标框中的图像进行初始化以生成目标模板图像集,在除所述前三帧目标框之外的后续帧目标框中,以所述前三帧目标框对应的目标模板图像集中的目标中心坐标作为搜索区域,通过水平翻转与联合增广变换对输入图像数据进行增强以得到搜索区域图像;

网络构建模块,用于:

在孪生神经网络框架中,通过将特征识别器模块嵌入在层次化特征提取网络中的前三个卷积块之后,以构建得到层次化特征提取模块,其中,所述孪生神经网络框架由层次化特征提取网络与多尺度特征融合网络构成,所述特征识别器模块用于通过生成三维注意图以关注重要元素的位置与内容;

特征学习模块,用于:

将所述目标模板图像集与所述搜索区域图像输入到所述孪生神经网络框架中,通过层次化特征提取网络分别对模板分支和搜索区域的目标图像特征进行学习,以得到相应的模板特征与搜索特征;

特征增强模块,用于:

将经过层次化特征提取网络处理后得到的模板特征输入到编码器中,使得单个模板特征进行增强,以获得编码特征;

特征映射模块,用于:

通过所述多尺度特征融合网络分别将所述模板特征与所述编码特征映射在同一特征空间中,其中,编码特征作为查询,模板特征与编码特征进行信息交换以产生鲁棒的模板融合特征,用于使跟踪器更适应目标尺度变化;

目标跟踪模块,用于:

将经过层次化特征提取网络处理后得到的搜索特征与所述模板融合特征输入至解码器,以得到用于定位目标的得分图,进而实现鲁棒的目标跟踪。