1.一种RGBT目标跟踪模型的训练方法,其特征在于,所述方法包括:
1)、构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型,其中,
稠密特征聚合模块包括若干层提取可见光图像特征的第一卷积层序列;以及若干层提取热红外图像特征的第二卷积层序列,第一卷积层序列中的卷积层数量等于第二卷积层序列中的卷积层数量;第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层;除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层,第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中;从第三个配对卷积层开始,将第三个配对卷积层作为当前配对卷积层,当前配对卷积层对应的特征聚合层将前一个特征聚合层的聚合特征、当前配对卷积层中的卷积层的卷积结果进行特征聚合,直至最后一个特征聚合层;
分类模块包括依次串联的若干层全连接层;
2)、使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练所述跟踪模型,得到目标跟踪模型。
2.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法,其特征在于,第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中,包括:第一个配对卷积层的卷积结果经过最大池化处理后输入到下一个配对卷积层的特征聚合层中。
3.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法,其特征在于,前一个特征聚合层的聚合特征,包括:最大池化后的前一个特征聚合层的输出特征。
4.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法,其特征在于,所述特征聚合层,包括:依次串联的第三卷积层、非线性激活函数层以及局部响应归一化层,其中,所述第三卷积层为卷积核尺寸为1*1卷积层;
非线性激活函数层,用于:利用公式, 计算非线性输出
结果,其中,XF为非线性输出结果;σ()为激活函数;∑为求和函数;Wi为卷积核;b为偏置;xi为第i个特征通道的特征;n为特征通道的数量;
局部响应归一化层,用于:利用公式,B=LRN(XF),计算聚合后的特征,其中,B为聚合后的特征;LRN()为局部响应归一化函数。
5.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法,其特征在于,所述稠密特征聚合模块以及分类模块之间还设有特征剪切模块,特征剪切模块包括:全局平均池化层以及权重随机选择层,其中,全局平均池化层用于:利用公式, 计算各个特征通道的激
活状态,其中,
scorei为第i个特征通道的激活状态;W为特征图像的宽;H为特征图像的高;∑为求和函数;J为像素点的横坐标;K为像素点的纵坐标;xi为第i个特征通道的特征;
权重随机选择层用于,利用公式, 计算各个特征通道的被选择权重,其中,keyi为第i个通道的被选择权重;ri为介于0和1之间的标量;scorei为第i个特征通道的激活状态。
6.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法,其特征在于,所述步骤
2),包括:
选取K个可见光视频序列以及K个热红外视频序列,且可见光视频序列与热红外视频序列是逐帧对应的;
从每一个可见光视频序列中选取第一预设数量个视频帧,并从每一个视频帧中选择第二预设数量个正样本以及第三预设数量个负样本,对第二预设数量个正样本以及第三预设数量个负样本进行标记并将标记后样本作为预先标记的可见光图像样本;
从每一个热红外视频序列中选取第一预设数量个视频帧,并从每一个视频帧中选择第二预设数量个正样本以及第三预设数量个负样本,对第二预设数量个正样本以及第三预设数量个负样本进行标记并将标记后样本作为预先标记的热红外图像样本;
使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练所述跟踪模型。
7.根据权利要求1所述的一种RGBT目标跟踪模型的训练方法,其特征在于,所述方法还包括:
3)、接收待识别可见光图像序列以及对应与所述待识别可见光图像序列的待识别热红外图像序列;
4)、从所述待识别可见光图像序列的第一帧图像以及所述待识别热红外图像序列的第一帧图像中分别提取第四预设数量个正样本以及第五预设数量个负样本;
5)、将第四预设数量个正样本以及第五预设数量个负样本输入到目标跟踪模型中,对目标跟踪模型中的模型参数进行调节,直至跟踪模型的迭代次数不低于第一预设阈值;在目标跟踪模型迭代次数不低于第一预设阈值的情况下,将所述目标跟踪模型作为最终跟踪模型;
6)、将待识别可见光图像序列的第一帧图像作为第一当前帧,将所述待识别热红外图像序列的第一帧图像作为第二当前帧;将所述第一当前帧与所述第二当前帧输入到所述最终跟踪模型中,得到当前识别结果;
7)、将第一当前帧的下一帧作为第一当前帧,将第二当前帧的下一帧作为第二当前帧,并返回执行步骤6),直至达到待识别可见光图像序列以及待识别热红外图像序列的最后一帧。
8.根据权利要求7所述的一种RGBT目标跟踪模型的训练方法,其特征在于,在执行步骤
6)中的所述将所述第一当前帧与所述第二当前帧输入到所述最终跟踪模型中,得到当前识别结果步骤时,所述方法还包括:判断是否达到所述最终跟踪模型的更新条件,其中,所述更新条件包括:当前识别结果对应的最大得分低于第二预设阈值、输入到跟踪模型中的视频帧的数量达到第六预设数量;
若是,扩充预先标记的可见光图像样本的数量以及预先标记的热红外图像样本的数量,并返回执行步骤2),直至达到待识别可见光图像序列以及待识别热红外图像序列的最后一帧。
9.一种RGBT目标跟踪模型的训练装置,其特征在于,所述装置包括:
构建模块,用于构建依次由稠密特征聚合模块以及分类模块组成的跟踪模型,其中,稠密特征聚合模块包括若干层提取可见光图像特征的第一卷积层序列;以及若干层提取热红外图像特征的第二卷积层序列,第一卷积层序列中的卷积层数量等于第二卷积层序列中的卷积层数量;第一卷积层中的与第二卷积层中深度相同的卷积层为配对卷积层;除第一个配对卷积层以外的配对卷积层均对应一个特征聚合层,第一个配对卷积层的卷积结果输入到下一个配对卷积层的特征聚合层中;从第三个配对卷积层开始,将第三个配对卷积层作为当前配对卷积层,当前配对卷积层对应的特征聚合层将前一个特征聚合层的聚合特征、当前配对卷积层中的卷积层的卷积结果进行特征聚合,直至最后一个特征聚合层;
分类模块包括依次串联的若干层全连接层;
训练模块,用于使用预先标记的可见光图像样本以及预先标记的热红外图像样本训练所述跟踪模型,得到目标跟踪模型。
10.根据权利要求9所述的一种RGBT目标跟踪模型的训练装置,其特征在于,构建模块,用于:第一个配对卷积层的卷积结果经过最大池化处理后输入到下一个配对卷积层的特征聚合层中。