1.一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于,所述方法包括如下步骤:步骤1、对给定的第一帧监控图像以及后续帧监控图像中的搜索区域分别进行初始化,以分别生成目标模板图像与搜索图像;
步骤2、将目标模板图像与搜索图像分别输入第一教师‑学生网络和第二教师‑学生网络,利用第一教师‑学生网络和第二教师‑学生网络分别对输入的模板图像以及搜索图像分别进行预测,得到模板图像以及搜索图像的预测结果和中间层特征图;
采用响应蒸馏结合中间层特征蒸馏的方式,将所得中间层特征图和预测结果作为训练集,并通过学生网络特征共享的方式对第一学生网络和第二学生网络进行训练,得到第一轻量级学生网络和第二轻量级学生网络;
步骤3、利用第一轻量级学生网络和第二轻量级学生网络分别对目标模板图像与搜索图像进行特征提取,得到模板主干特征和搜索主干特征;
对模板主干特征的目标区域进行池化,再通过全连接层编码成调制向量;
步骤4、采用区域建议网络根据搜索主干特征生成初始边界框,对初始边界框进行池化,得到固定尺寸的搜索特征图,利用调制向量对搜索特征图进行池化,再进行hannel‑wise乘法调制;
将调制结果输入全连接层,输出每个初始边界框估计的预测交集的IoU分数,使用梯度上升最大化IoU分数对初始边界框进行更新,得到最终边界框;
步骤5、利用最终边界框预测目标置信度得分进行目标分类,从而将目标与场景中的其它对象区分开,并以预测所得目标置信度得分进行后续监控画面中的目标跟踪操作,以确定目标运动轨迹。
2.根据权利要求1所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于,在所述步骤2中,采用响应蒸馏结合中间层特征蒸馏的方式对学生网络进行训练时,教师网络向学生网络传递知识的双重知识蒸馏损失定义如下:;
其中, 表示响应蒸馏结合中间层特征蒸馏的双重知识蒸馏损失, 表示总响应损失, 表示提示学习损失, 和 分别表示第一教师‑学生网络和第二教师‑学生网络的中间层特征的交叉熵损失。
3.根据权利要求2所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于,在所述步骤2中,对学生网络进行训练时,通过第一教师‑学生网络和第二教师‑学生网络的损失构成总响应损失来平衡第一教师‑学生网络和第二教师‑学生网络的特征,总响应损失存在如下关系式:;
其中, 和 分别表示第一教师‑学生网络和第二教师‑学生网络的损失,是软标签的损失, 是硬标签的损失;
第一教师‑学生网络损失 存在如下关系式:
;
其中, 表示利用搜索图像部分计算所得的教师网络的特征, 表示利用模板图像部分计算所得的学生网络的嵌入, 表示第一教师网络和第二教师网络与第一学生网络和第二学生网络的中间层特征的相近似计算;
第二教师‑学生网络损失 存在如下关系式:
;
其中, 表示利用搜索图像部分计算所得的学生网络的特征, 表示利用模板图像部分计算所得的教师网络的嵌入;
教师‑学生网络损失 存在如下关系式:
;
其中, 表示利用搜索图像部分计算所得的教师网络的特征, 表示利用模板图像部分计算所得的学生网络的嵌入。
4.根据权利要求3所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于,在所述步骤2中,中间层特征蒸馏的方法具体包括如下步骤:计算不同信道的特征响应平均值;
第一学生网络和第二学生网络通过学习第一教师网络和第二教师网络的特征响应平均值,进而使第一学生网络和第二学生网络会和第一教师网络和第二教师网络的中间层特征相似,不同信道上的响应平均值存在如下关系式:;
其中, 、 、 分别表示特征通道、中间层特征图高度、中间层特征图宽度, 表示映射函数, 表示使用映射函数功能组合不同频道的不同回复来创建响应映射;
通过使用提示学习使第一教师网络和第二教师网络的中间层特征与第一学生网络和第二学生网络的中间层的特征具有相同的形状;
将不同空间的教师网络的中间层特征和学生网络的中间层的特征利用1×1的卷积层将知识从教师网络转移到学生网络,转移过程存在如下关系式: ;
其中, 表示教师网络的中间层特征图, 表示1×1的卷积层, 表示学生网络的中间层特征图, 表示将第一教师网络和第二教师网络中间层特征和第一学生网络和第二学生网络中间层特征将知识从第一教师网络和第二教师网络转移到第一学生网络和第二学生网络。
5.根据权利要求4所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于,在所述步骤2中,第一教师‑学生网络和第二教师‑学生网络的中间层特征损失存在如下关系式:;
;
其中, 表示学生网络第 层的权重, 表示教师网络第 层的权重, 和 分别表示第一学生网络和第二学生网络第 层的学生特征图, 和 分别表示第一教师网络和第二教师网络第 层的学生特征图,表示第一教师‑学生网络和第二教师‑学生网络对应激活层的总数, 表示第一教师‑学生网络和第二教师‑学生网络中间层特征蒸馏。
6.根据权利要求5所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于, 在所述步骤2中,第一学生网络和第二学生网络特征共享采用共享损失的方式,共享损失存在如下关系式:;
其中, 表示学生网络特征共享损失,表示总标签数量,S1和S2分别表示第一学生网络和第二学生网络, 表示第一学生网络S1对第 个类别的软预测, 表示第二学生网络S2对第 个类别的软预测, 表示第一学生网络执行预测操作, 表示第二学生网络执行预测操作,表示第 个类别。
7.根据权利要求6所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于, 在所述步骤4中,预测交集的IoU分数存在如下关系式:;
其中, 表示边界框 的IoU分数, 表示大小为 的调制向量,表示边界框,表示搜索主干特征, 表示搜索图像提取深度特征的深度, 表示经过特征提取网络和池化得到的特征表示, 表示执行Iou的预测操作。
8.根据权利要求7所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于, 在所述步骤5中,进行目标分类过程中采用两层全卷积神经网络,目标分类存在如下关系式:;
其中, , 和 分别表示给定的两个不同的网络参数,和 表示激活函数,表示多通道卷积,表示利用搜索图像所得出的特征。
9.根据权利要求8所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,其特征在于, 在所述步骤5中,在进行目标跟踪时,利用分类误差制定目标跟踪的学习目标,分类误差存在如下关系式:;
其中, 表示特征图, 表示置信度, 表示权重, 表示每个训练样本的特征图,表示高斯函数计算,表示训练样本特征图的总数量。
10.一种基于双重知识蒸馏的教师与学生网络目标跟踪系统,其特征在于,所述系统应用如上述权利要求1至9任意一项所述的一种基于双重知识蒸馏的教师与学生网络目标跟踪方法,所述系统包括:初始化操作模块,用于对给定的第一帧监控图像以及后续帧监控图像中的搜索区域分别进行初始化,以分别生成目标模板图像与搜索图像;
提取网络生成模块,用于将目标模板图像与搜索图像分别输入第一教师‑学生网络和第二教师‑学生网络,利用第一教师‑学生网络和第二教师‑学生网络分别对输入的模板图像以及搜索图像分别进行预测,得到模板图像以及搜索图像的预测结果和中间层特征图;
采用响应蒸馏结合中间层特征蒸馏的方式,将所得中间层特征图和预测结果作为训练集,并通过学生网络特征共享的方式对第一学生网络和第二学生网络进行训练,得到第一轻量级学生网络和第二轻量级学生网络;
特征生成模块,用于利用第一轻量级学生网络和第二轻量级学生网络分别对目标模板图像与搜索图像进行特征提取,得到模板主干特征和搜索主干特征;
对模板主干特征的目标区域进行池化,再通过全连接层编码成调制向量;
目标估计模块,用于采用区域建议网络根据搜索主干特征生成初始边界框,对初始边界框进行池化,得到固定尺寸的搜索特征图,利用调制向量对搜索特征图进行池化,再进行hannel‑wise乘法调制;
将调制结果输入全连接层,输出每个初始边界框估计的预测交集的IoU分数,使用梯度上升最大化IoU分数对初始边界框进行更新,得到最终边界框;
目标分类模块,用于利用最终边界框预测目标置信度得分进行目标分类,从而将目标与场景中的其它对象区分开,并以预测所得目标置信度得分进行后续监控画面中的目标跟踪操作,以确定目标运动轨迹。