1.基于元学习参数转移的可见光红外视觉跟踪方法,其特征在于,所述方法包括:
步骤一:构建多模态视觉跟踪控制模型;
步骤二:将样本输入多模态视觉跟踪控制模型对其进行训练,所述样本包括多个热红外图像和其对应的可见光图像形成的多个图像对以及多个单独的可见光图像,训练过程中先向模型输入图像对进行第一预设次数的迭代训练,然后交替输入单独的可见光图像与图像对对模型继续训练第二预设次数,并且在交替训练过程中利用图像对进行模型训练的时候图像需要经过元学习器;
步骤三:训练完成以后实时采集视频,提取成对的热红外图像和其对应的可见光图像输入训练好的模型,模型跟踪,输出预测目标位置;
所述多模态视觉跟踪控制模型包括顺序编号的第一通用适配器至第三通用适配器、第一可见光模态适配器至第三可见光模态适配器、第一热红外模态适配器至第三热红外模态适配器、元学习器、第一实例适配器及第二实例适配器,第一可见光模态适配器与第一通用适配器的一个输入端连接且接收单独的可见光图像或者热红外图像对应的可见光图像,第一热红外模态适配器与第一通用适配器的另一个输入端连接并接收热红外图像,第一可见光模态适配器的输出结果叠加到第一通用适配器的第一输出端之后输入第二可见光模态适配器以及第二通用适配器,第一热红外模态适配器的输出结果叠加到第一通用适配器的第二输出端之后输入第二热红外模态适配器以及第二通用适配器,第二可见光模态适配器的输出结果叠加到第二通用适配器的第一输出端后输入第三可见光模态适配器以及第三通用适配器,第二热红外模态适配器的输出结果叠加到第二通用适配器的第二输出端之后输入第三热红外模态适配器以及第三通用适配器,第三可见光模态适配器的输出结果叠加到第三通用适配器的第一输出端,第三可见光模态适配器经过元学习器与第三热红外模态适配器连接,第三热红外模态适配器经降维单元将输出结果叠加到第三通用适配器的第二输出端,仅有第三通用适配器的第一输出端输出结果时,该输出结果经第二实例适配器输出,否则融合第三通用适配器的第一输出端和第二输出端的结果后经第一实例适配器输出;
所述第一可见光模态适配器和第一热红外模态适配器结构相同,均由顺次级联的3×3卷积层、ReLU、LRN及5×5最大池化层组成;第二可见光模态适配器和第二热红外模态适配器结构相同,均由顺次级联的1×1卷积层、ReLU、LRN及5×5最大池化层组成;第三可见光模态适配器、第三热红外模态适配器及降维单元结构相同,均由顺次级联的1×1卷积层、ReLU及LRN组成;第一通用适配器由7×7卷积层、ReLU、LRN及3×3最大池化层组成,第二通用适配器由5×5卷积层、ReLU、LRN及3×3最大池化层组成,第三通用适配器由3×3卷积层、ReLU及LRN组成;所述元学习器由顺次级联的两个学习单元组成,两个学习单元均由ReLU和全连接层组成,两个学习单元的全连接层的维度不同;第一实例适配器由顺次级联的全连接层FC4、一个ReLU、一个随机失活函数、全连接层FC5、另一个ReLU、另一个随机失活函数及全连接层FC6组成,第二实例适配器的结构与第一实例适配器的结构相同,但全连接层FC4的维度不同;
所述多模态视觉跟踪控制模型的训练过程包括:
使用热红外图像和其对应的可见光图像形成的多个图像对迭代70次预先训练网络模型,设定batchsiz为128,卷积层的学习率为0.0001,全连接层的学习率为0.0002,训练过程中可见光图像和其对应的热红外图像同时输入模型中,可见光图像依次经过第一可见光适配器及对应位置的第一通用适配器、第二可见光适配器及对应位置的第二通用适配器、第三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第一输出端,热红外图像依次经过第一热红外适配器及对应位置的第一通用适配器、第二热红外适配器及对应位置的第二通用适配器、第三热红外适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第二输出端,第三通用适配器的第一输出端和第二输出端的结果融合之后通过第一实例适配器输出。
2.根据权利要求1所述的基于元学习参数转移的可见光红外视觉跟踪方法,其特征在于,训练过程中使用的样本获取方式为:在视频的每一帧中根据给定的真值框选取S+=4,IOU≥0.7和S-=12,IOU≤0.5的样本数,其中S+表示正样本,S-表示负样本,IOU表示采集样本与真值框之间的交并比,通过采集的正负样本。
3.根据权利要求2所述的基于元学习参数转移的可见光红外视觉跟踪方法,其特征在于,所述多模态视觉跟踪控制模型的训练过程还包括:交替输入单独的可见光图像与图像对对模型继续训练130次,学习率和样本取样方式与使用热红外图像和其对应的可见光图像对迭代70次预先训练网络模型相同。
4.根据权利要求3所述的基于元学习参数转移的可见光红外视觉跟踪方法,其特征在于,每次采用单独的可见光图像对模型训练时,单独的可见光图像依次经过第一可见光适配器及对应位置的第一通用适配器、第二可见光适配器及对应位置的第二通用适配器、第三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第一输出端,第三通用适配器的第一输出端的输出结果从经过第二实例适配器输出。
5.根据权利要求3所述的基于元学习参数转移的可见光红外视觉跟踪方法,其特征在于,交替输入单独的可见光图像与图像对对模型继续训练130次的过程中,每次利用图像对对模型训练时,可见光图像依次经过第一可见光适配器及对应位置的第一通用适配器、第二可见光适配器及对应位置的第二通用适配器、第三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第一输出端,热红外图像依次经过第一热红外适配器及对应位置的第一通用适配器、第二热红外适配器及对应位置的第二通用适配器,第二热红外适配器及对应位置的第二通用适配器的输出结果融合后输入到第三热红外适配器及第三通用适配器,第三可见光适配器的输出经过元学习器输入到第三热红外适配器,第三热红外适配器输出结果经过降维单元之后融合到第三通用适配器的第二输出端,第三通用适配器的第一输出端和第二输出端的结果融合之后通过第一实例适配器输出。
6.根据权利要求1所述的基于元学习参数转移的可见光红外视觉跟踪方法,其特征在于,所述步骤三包括:训练完成以后实时采集视频,提取成对的热红外图像和其对应的可见光图像输入训练好的模型,可见光图像依次经过第一可见光适配器及对应位置的第一通用适配器、第二可见光适配器及对应位置的第二通用适配器、第三可见光适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第一输出端,热红外图像依次经过第一热红外适配器及对应位置的第一通用适配器、第二热红外适配器及对应位置的第二通用适配器、第三热红外适配器及对应位置的第三通用适配器之后输出结果融合到第三通用适配器的第二输出端,第三通用适配器的第一输出端和第二输出端的结果融合之后通过第一实例适配器输出,输出预测目标位置。
7.根据权利要求6所述的基于元学习参数转移的可见光红外视觉跟踪方法,其特征在于,所述通过第一实例适配器输出,输出预测目标位置,包括:
所述第一实例适配器的全连接层FC6含有softmax层对每个样本特征计算其正负得分:f+(xi)和f-(xi),通过公式得到预测目标位置,其中xi表示采样的第i个样本,f+(xi)表示获取的正样本得分,f-(xi)表示获取的负样本得分,x*为预测的目标位置。