1.一种基于困难样本感知的RGBT目标跟踪方法,其特征在于:包括以下步骤:步骤S1、构建数据库,获得数据集
采集多模态相机拍摄的图片,并对图片进行人工配准和标注,按要求筛选出适合训练和测试的图片,并标注上相应标签,形成对应训练集和测试集;
步骤S2、分别对训练集和测试集中的图片进行预准备,即将每一张图片所在的路径位置和图片内目标所处的像素位置均加入到一个各自的XML文件内,以方便后续对图片的读入;
步骤S3、通过XML文件读取对应图片信息,所述图片信息包括图片的路径、图片内目标的坐标,然后对训练集中的图片进行数据增强的预处理操作,进而扩充训练集中的图片数据量;
步骤S4、构建优化目标跟踪模型,该模型中包括实时跟踪网络RT‑MDNet、VGG‑M特征提取模块、前景增强模块、特征嵌入模块和二分类模块;具体方法为:S4.1、将预处理后的可见光图片和热红外图片同时输入到网络中;
S4.2、加载两个结构相同但参数不同的VGG‑M特征提取模块分别对训练集中的可见光图片和热红外图片进行特征提取;
S4.3、针对步骤S4.2所提取的特征,使用全局平均池化GAP层和softmax层融合两个模态的特征;
S4.4、使用自适应的ROIAlign将原图上样本的矩形包围盒映射到原图的特征图上,得到相应的样本特征;原图是指步骤S4.1中输入的可见光图片和热红外图片;
S4.5、将步骤S4.4提取的样本特征通过前景增强模块生成前景掩膜来增强前景特征,具体方法为:(1)对于同一个特征图分别经过两个相同结构的网络:前景网络和背景网络;前景网络中先使用目标增强模块对前景目标进行学习前景的mask,然后使用中间的目标注意力损失函数对前景mask的学习;最终得到对应特征图;
其中,目标增强模块的网络结构通过对应卷积操作进行目标增强,依次为:使用1*1*
256卷积核来对特征进行降维,3*3*128的卷积核继续提取特征,1*1*64卷积核进行特征降低维数减少网络参数;
(2)将所得特征图对应通道的特征值进行相加求平均,然后按照通道池化操作通过一个sigmoid函数,就生成对应一个前景mask;
(3)生成前景mask后,对背景的mask进行掩膜,通过目标注意力损失函数对mask学习,公式如下所示:f g b g
上式中,Z 是前景的mask掩膜,F是增强后的前景特征,Z是背景的mask掩膜,B是增强2
后的背景特征, 和 是对F和B在空间维度上执行l 规范化的结果;F是前景的特征,B是g g背景的特征;g是增强操作,因此F和B是增强后的前景和背景特征,Lt是指目标注意力损失2
函数;f和b是前景和背景的上标;l是范式约束,c指的是通道的标志,是第几通道;
S4.6、使用困难样本感知的结构性损失函数挖掘更多困难样本来训练特征嵌入空间,用来辅助分类器目标背景的分类;
S4.7、使用softmax损失函数计算二分类损失,再与困难样本感知的结构性损失函数一起共同更新网络参数。
2.根据权利要求1所述的基于困难样本感知的RGBT目标跟踪方法,其特征在于:所述步骤S1中多模态相机拍摄的图片包括可见光图片和热红外图片;人工标注时使用labelimg标注软件,对包含目标的部分画框,生成的坐标格式为(xmin,ymin,width,height),其中,(xmin,ymin)代表目标左上角信息,(width,height)表示的是目标框的宽和高。
3.根据权利要求1所述的基于困难样本感知的RGBT目标跟踪方法,其特征在于:所述步骤S2中将标注完成的热红外图片和可见光图片分别放在infrared和visible两个文件夹内,坐标文件按照infrared.txt和visible.txt格式和两个文件夹在同一目录下。
4.根据权利要求1所述的基于困难样本感知的RGBT目标跟踪方法,其特征在于:所述步骤S4.2中将可见光图片和热红外图片输入到网络后,使用两个结构相同但参数不同的VGG‑M特征提取模块分别对这两个不同模态提取不同模态的特征;每个VGG‑M特征提取模块均包括三层卷积层,分别是:第一层为卷积层,使用7*7*96卷积核,步长为2,对图像进行卷积操作,然后使用局部响应归一化LRN层归一化数据,然后使用3*3的Max Pool操作;
第二层为卷积层,使用5*5*256卷积核,步长为2,对图像进行卷积操作,再使用一个LRN层归一化数据;
第三层为卷积层,使用3*3*512卷积核进行卷积操作。
5.根据权利要求1所述的基于困难样本感知的RGBT目标跟踪方法,其特征在于:所述步骤S4中对经过前景增强模块增强的特征进行特征嵌入,方法如下:按照样本与锚框的距离分别为正负样本加上权值:对于正样本,样本与锚框的距离越小权值越小,而样本与锚框的距离越大,则说明此正样本属于困难样本,因此赋予的权值相应加大;对于负样本,样本与锚框的距离越小,则说明此负样本可能越属于困难负样本,则赋予的权值相应的更大,对于简单负样本赋予的权值更低;
通过上述过程挖掘更多的困难样本加入训练,同时也利用了所有样本的全局信息,能够学习到一个更具判别性的特征嵌入空间,辅助分类器的分类;
困难样本感知的结构性损失函数公式如下所示:
式(6)中NS是三元组的数量,a是下标,fa是锚框的特征, 和 是正样本和负样本特征的集合,而m是正负样本之间的间距,此处fi和fj是样本的特征集合中的其中一个;公式(8)是样本的加权策略, 和 是对应的每一个正样本和负样本获得的权重值;d()是欧式距离公式,是个预先设置的值,通过公式(8)获得每个正负样本的权值,公式(7)是所有样本的欧式距离加权求平均的结果。
6.根据权利要求1所述的基于困难样本感知的RGBT目标跟踪方法,其特征在于:所述步骤S4.6中在训练时,学习率设置为0.0001,训练次数设置为450次。