1.基于适配器互学习模型的训练方法,其特征在于,包括以下步骤:
S11、构建网络模型;所述网络模型由依次串联的用于将样本输出成不同模态特征图的多级适配器模块、Concatnate函数、实例适配器组成,多级适配器模块输出不同模态的特征图并通过Concatnate函数按通道维度的拼接得到一个整体的特征图,传递至实例适配器进行计算;
S12、使用人工标注好的可见光热红外数据集来训练整个网络模型。
2.根据权利要求1所述的基于适配器互学习模型的训练方法,其特征在于,所述多级适配器模块分别由依次串联的第一级适配器模块、第二级适配器模块、第三级适配器模块组成;
所述第一级适配器模块中包括两个第一模态适配器、第一通用适配器、两个适配器互学习模块,将候选样本分别送入不同模态相对应的第一模态适配器中、第一通用适配器中,第一通用适配器用于提取模态共享特征,两个第一模态适配器提取模态特定特征,再分别输送至两个适配器互学习模块中,进行模态间的特征调制,两个适配器互学习模块将调制好的特征分别与对应模态的第一通用适配器输出特征做加法操作,进行特征融合,然后依次传入第二级适配器模块、第三级适配器模块中;
所述第二级适配器模块包括两个第二模态适配器、第二通用适配器、两个适配器互学习模块;
所述第三级适配器模块包括两个第三模态适配器、第三通用适配器、两个适配器互学习模块;
且两个第二模态适配器、第二通用适配器、两个适配器互学习模块的传递关系;以及两个第三模态适配器、第三通用适配器、两个适配器互学习模块之间的传递关系与第一级适配器模块中传递关系相同。
3.根据权利要求2所述的基于适配器互学习模型的训练方法,其特征在于,所述第一模态适配器由卷积层、ReLU激活函数、批归一化层、随机失活函数层、最大池化层组成;且所述第一模态适配器包括为可见光模态适配器、热红外模态适配器;
所述第一通用适配器由卷积层、激活函数ReLU层、局部响应函数LRN层、最大值池化层组成;
所述第二级适配器模块由第二模态适配器、与第二模态适配器并行的第二通用适配器组成,所述第二模态适配器由卷积层、ReLU激活函数、批归一化层、随机失活函数层、最大池化层组成;所述第二模态适配器包括可见光模态适配器、热红外模态适配器;
所述第二通用适配器由卷积层、激活函数ReLU层、局部响应函数LRN层、最大值池化层组成;
所述第三级适配器模块由第三模态适配器、与第三模态适配器并行的第三通用适配器组成;其中,所述第三模态适配器由卷积层、ReLU激活函数、批归一化层、随机失活函数层组成;且所述第三模态适配器包括为可见光模态适配器、热红外模态适配器;所述第三通用适配器由卷积层、局部响应函数LRN层组成;
所述实例适配器由带有Dropout层的两个全连接层和一个带由softmax层的全连接层依次串联所组成。
4.根据权利要求3所述的基于适配器互学习的可见光红外视觉跟踪方法,其特征在于,所述适配器互学习模块由第一级学习模块、第二级学习模块组成,且第一级学习模块和第二级学习模块相同,第一级学习模块包括依次串联的两个卷积层、sigmoid激活函数层、特征级的乘操作模块组成;当特征输入至第二个卷积层卷积操作后,并将结果传递至乘操作模块处;同时第二个卷积层还与sigmoid激活函数层串联并将结果传递至sigmoid激活函数层处,且所述sigmoid激活函数层进行抑制处理后将结果传输至乘操作模块处,与经过两次卷积操作的结果进行相乘操作,再与另一个特征进行相乘操作得到一个输出结果,记为第一输出结果;
同时输入第一级学习模块的特征还同时输入至第二级学习模块处,第二级学习模块包括依次串联的两个卷积层、sigmoid激活函数层、特征级的乘操作模块组成,第二级学习模块的输出结果与第一输出结果进行相加操作。
5.根据权利要求1所述的基于适配器互学习模型的训练方法,其特征在于,所述步骤S12包括;
S1201、在视频帧的真值框附近选择n1个样本;n1个样本中包括正样本和负样本;且n1为正整数;
S1202,得到的正样本、负样本,使用随机梯度法进行迭代训练。
6.基于权利要求1-5任一所述的基于适配器互学习模型的训练方法的可见光红外视觉跟踪方法,其特征在于,包括以下步骤:S21、输入当前跟踪的视频帧,在前一帧预测的目标位置周围用高斯采样获取当前帧的候选样本;
S22、根据候选样本,预测目标位置;
S23、判断当前帧是否跟踪成功,如果当目标的得分大于零时,判定为跟踪成功,执行步骤1);当目标得分小于零时,则判定为跟踪失败,执行步骤2)。
7.根据权利要求6所述的基于适配器互学习模型的可见光红外视觉跟踪方法,其特征在于,所述步骤S21包括;
由跟踪视频序列的提供的第一帧图像作为前一帧;由前一帧和框定目标位置区域的真值框,按照高斯分布随机产生若干个样本,并进行若干次的迭代训练,完成网络模型的初始化;
初始化结束后,把前一帧的目标位置求均值,使用高斯分布采样,以(0.09r2,0.09r2,
0.25)为协方差;产生候选样本,其中:r为前一帧目标框的宽和高的平均值。
8.根据权利要求6所述的基于适配器互学习模型的可见光红外视觉跟踪方法,其特征在于,所述步骤S22包括;
将候选样本分别送入到相对应的第一模态适配器中、第一通用适配器中,依次传递至实例适配器中进行计算,在第三全连接层后送入softmax函数得到二分类得分值,分别记为+ i - if (x)(正样本得分)和f (x)(负样本得分),而再利用公式 预测出当前的目标位置,其中,xi表示采样的第i个样本,x*为预测的目标位置,f+(xi)为正样本得分和f-(xi)为负样本得分。
9.根据权利要求7所述的基于适配器互学习模型的可见光红外视觉跟踪方法,其特征在于,所述步骤1)为;其中,在当前帧进行正负样本采样保存至总的正负样本数据集中;
所述步骤2)为;跟踪失败时进行短期更新;短期更新包括抽取样本并微调全连接层的参数。
10.根据权利要求8所述的基于适配器互学习模型的可见光红外视觉跟踪方法,其特征在于,所述步骤S23还包括长期更新,如不满足短期更新和长期更新的情况,则直接跟踪下一帧,模型不更新,直至最后一帧结束;
长期更新为每隔若干帧进行一次,从正负样本集中抽出样本并微调全连接层的参数,进行迭代训练更新。