1.基于多挑战交互学习的实时RGBT跟踪方法,其特征在于,包括以下步骤;
S1、训练网络模型;
所述网络模型包括依次串联的若干级主干网络模块、自适应感兴趣区域对准操作层、全连接层;所述若干级网络主干模块包括第一主干网络模块、第二主干网络模块、第三主干网络模块,所述第一主干网络模块包括并行的第一双流CNN网络模块、第一挑战感知器分支模块,所述第一双流CNN网络模块包括第一卷积层(101)、第二卷积层(102)、第一线性激活模块(301)、第一CONCAT层(401)、第一聚合层(501)、第四线性激活模块(601);
所述第一挑战感知器分支模块包括第一挑战感知器模块(201)、第二挑战感知器模块(202)、第三挑战感知器模块(203),第一挑战感知器模块(201)、第二挑战感知器模块(202)、第三挑战感知器模块(203)均通过堆叠在一起的CONV层、LRN层、maxpool层组成;
所述第一卷积层(101)、第二卷积层(102)获取不同模态下目标的通用特征;
所述第一挑战感知器模块(201)为模态特有的挑战感知分支,还包括第一IV模块、第一TC模块以及第一GM模块;所述第一IV模块、第一TC模块从某一模态的目标获取照度变化特征信息和热交叉特征信息,同时所述第一IV模块将获取的照度变化特征信息传递至第一GM模块;
所述第三挑战感知器模块(203)与第一挑战感知器模块(201)相同,所述第三挑战感知器模块(203)包括第二IV模块、第二TC模块以及第二GM模块,所述第二IV模块从另一模态的目标中获取照度变化特征信息,所述第二TC模块从另一模态的目标中获取热交叉特征信息,同时所述第二TC模块将获取的热交叉特征信息传递至第二GM模块;
同时所述第一TC模块将获取的热交叉特征信息传递至第二GM模块;所述第二IV模块将获取的照度变化特征信息传递至第一GM模块;所述第一GM模块、第二GM模块将获取的特征信息传输至第一CONCAT层(401)处进行维度拼接;
所述第二挑战感知器模块(202)包括FM模块、OCC模块、SV模块,所述FM模块、OCC模块、SV模块分别从两种模态下的目标获取快速运动信息、比例变化信息、遮挡信息;并将信息发送至第一CONCAT层(401)处进行维度拼接;
所述第一CONCAT层(401)将拼接后的信息传递至第一聚合层(501)处,所述第一聚合层(501)将第一CONCAT层(401)传递的特征信息与第一卷积层(101)传递的特征信息进行相加处理,并发送至第一线性激活模块(301)处;所述第一聚合层(501)还将第一CONCAT层(401)传递的特征信息与第二卷积层(102)传递的特征信息进行相加处理,并发送至第四线性激活模块(601)处;
所述第一线性激活模块(301)与第四线性激活模块(601)将池化后的特征信息依次传递至第二主干网络模块、第三主干网络模块处;经过第三主干网络模块输出的特征信息传递至自适应感兴趣区域对准操作层,得到最终的样本特征图,并保存该样本特征图,自适应感兴趣区域对准操作层将样本特征图输入至全连接层,经过全连接层分类处理后得到每个样本的得分;取得分最高的样本位置作为当前帧预测的视觉跟踪结果;
S2、基于训练后的网络模型进行跟踪,确定目标位置。
2.根据权利要求1所述的基于多挑战交互学习的实时RGBT跟踪方法,其特征在于,所述第一GM模块、第二GM模块相同;
所述第一GM模块中包括若干个依次串联的卷积模块(901),所述卷积模块(901)由CONV层、ReLU层堆叠在一起组成,先验模态下的特征信息输入至卷积模块(901)中,并依次传递至最后一个卷积模块(901),将先验模态下特征信息传递至门处理模块处,所述门处理模块将处理后的先验模态下特征信息与最后一个卷积模块(901)处理后的特征信息进行相乘运算处理,并将相乘运算处理后的特征信息与引导莫模态下特征信息进行相加运算处理,输出融合结果。
3.根据权利要求2所述的基于多挑战交互学习的实时RGBT跟踪方法,其特征在于,所述第一GM模块中卷积模块(901)中,卷积层卷积核大小为1×1;所述第一GM模块的公式如下;
γ=ReLU(ω2*ReLU(ω2*x+b1)+b2)
其中,其中ωi、bi(i=1,2)分别表示卷积层的权重和偏差,x、z分别表示先验模态和引导模态的特征信息,σ是S型函数,γ、分别表示没有和有门操作的点状特征位移的参数。
4.根据权利要求1所述的基于多挑战交互学习的实时RGBT跟踪方法,其特征在于,所述第一聚合层(501)包括依次堆叠在一起的CONV层、LRN层,且第一聚合层(501)的COVN层卷积核大小为1×1。
5.根据权利要求1所述的基于多挑战交互学习的实时RGBT跟踪方法,其特征在于,所述第一线性激活模块(301)与第四线性激活模块(601)相同,所述第一线性激活模块(301)由ReLU层、LRN层、maxpool层依次堆叠组成,所述第一线性激活模块(301)与第四线性激活模块(601)将池化后的特征信息传递至第二主干网络模块处。
6.根据权利要求4所述的基于多挑战交互学习的实时RGBT跟踪方法,其特征在于,所述第二主干网络模块与第一主干网络模块的区别为,所述包括第二双流CNN网络模块、第二挑战感知器分支模块;
所述第二双流CNN网络模块包括第三卷积层(103)、第四卷积层(104)、第六挑战感知器模块(206)、第二线性激活模块(302)、第二CONCAT层(402)、第二聚合层(502)、第五线性激活模块(602);
所述第二挑战感知器分支模块包括第四挑战感知器模块(204)、第五挑战感知器模块(205);
所述第二线性激活模块(302)、第五线性激活模块(602)均由ReLU层、LRN层依次堆叠组成;所述第二线性激活模块(302)、第五线性激活模块(602)将数据传递至第三主干网络模块中。
7.根据权利要求3所述的基于多挑战交互学习的实时RGBT跟踪方法,其特征在于,所述第三主干网络模块与第一主干网络模块的区别为,包括第三双流CNN网络模块、第三挑战感知器分支模块;
所述第三双流CNN网络模块包括第五卷积层(105)、第六卷积层(106)、第三CONCAT层(403)、第三聚合层(503)、第六线性激活模块(602)以及第四CONCAT层(404);
所述第三挑战感知器分支模块包括第七挑战感知器模块(207)、第八挑战感知器模块(208)、第九挑战感知器模块(209)、第三线性激活模块(603),所述第三线性激活模块(303)、第六线性激活模块(603)由ReLU组成,所述第三线性激活模块(303)、第六线性激活模块(603)将特征信息发送至第四CONCAT层(404)处进行维度拼接。
8.根据权利要求1-7任一所述的基于多挑战交互学习的实时RGBT跟踪方法,所述步骤S1包括;
S11、删除第一GM模块、第二GM模块、第三GM模块、第一聚合模块(501)、第二聚合模块(502)、第三聚合模块(503)后,训练网络模型中第一挑战感知器分支模块、第二挑战感知器分支模块、第三挑战感知器分支模块;包括;
首先初始化第一双流CNN网络模块、第二双流CNN网络模块、第三双流CNN网络模块的参数,这些参数在此阶段是固定的;
然后删除第一GM模块、第二GM模块、第三GM模块、第一聚合模块(501)、第二聚合模块(502)、第三聚合模块(503),初始化第一挑战感知器分支模块、第二挑战感知器分支模块、第三挑战感知器分支模块以及全连接层,并设置第一挑战感知器分支模块、第二挑战感知器分支模块、第三挑战感知器分支模块以及全连接层的学习率;
最后进行迭代训练;
S12、训练第一GM模块、第二GM模块、第三GM模块;
S13、训练第一聚合模块(501)、第二聚合模块(502)、第三聚合模块(503);训练数据集中所有具有挑战性和非挑战性的帧来训练第一聚合模块(501)、第二聚合模块(502)、第三聚合模块(503)和全连接层,并同时微调第一挑战感知器分支模块、第二挑战感知器分支模块、第三挑战感知器分支模块的参数。
9.根据权利要求8所述的基于多挑战交互学习的实时RGBT跟踪方法,所述步骤S2包括;
S21、基于带有初始边界框的第一帧中,获取样本进行初始化训练;
在带有初始边界框的第一帧中采集样本,所述样板包括若干个正样本和负样本,使用所述样本进行迭代训练来微调网络中全连接层的参数;
S22、初始化训练完成后,获取若干个候选样本;
S23、将获得的若干个候选样本输入到网络模型中;
候选样本输入网络模型中,最终输出所需要的特征图;特征图会传递至全连接层中,每个候选样本会被全连接层判定为正样本f+(xi)和负样本的得分f-(xi),再利用公式获得下一帧的目标位置,其中xi表示采样的第i个候选样本,x*为预测的目标位置,正样本f+(xi)得分最高的目标位置,即为预测的跟踪结果;
S24、从第二帧开始,如果跟踪得分大于预定义的阈值,则认为跟踪成功;如果小于预定义的阈值,则认为跟踪失败,并执行步骤S25;
所述步骤S24还包括长期更新,长期跟新包括;收集若干个正向样本、和若干个负向样本进行在线更新,每若干帧进行一次长期更新;
S25、进行短期更新,短期更新超参数与长期更新相同。
10.基于权利要求1-9任一所述的基于多挑战交互学习的实时RGBT跟踪方法的跟踪装置,其特征在于,包括;
训练模块,用于训练网络模型;
跟踪模块,用于基于训练后的网络模型进行跟踪,确定目标位置。