1.一种复杂驾驶场景中基于RGB-E的目标跟踪方法,其特征在于:步骤如下:采集实时路况视频,并将实时采集的视频转换为RGB图像序列和事件序列两种模态,构建RGB-E序列数据集;
基于MDNet框架建立MDNet多域学习网络,MDNet多域学习网络分别对RGB图像序列和事件序列进行初始卷积与特征提取,再对RGB图像序列和事件序列进行特征融合,最后输入至预测头,预测头获得目标物体的边界框,输出当前帧的跟踪结果;
所述MDNet多域学习网络包括特征提取网络、特征融合网络以及预测头,其中特征提取网络分两通道分别对RGB图像序列和事件序列进行初始卷积与特征提取,然后由特征融合网络进行特征合并以及特征融合操作,最后将进行特征融合后的RGB图像序列和事件序列的融合特征输入至预测头;
所述特征融合网络包括DMSTF双模态时空融合模块,DMSTF双模态时空融合模块是基于MSF模块改进所得,通过DMSTF双模态时空融合模块实现:
1)对同一通道中经过ASIE跨空间信息提取模块提取后的特征与初始卷积操作后的特征图进行拼接;
2)对不同通道中经过ASIE跨空间信息提取模块提取后的特征进行融合;
对同一通道中经过ASIE跨空间信息提取模块提取后的特征与初始卷积操作后的特征图进行拼接,过程为:
11)两种模态的RGB数据和Event数据分别通过独立的初始卷积操作后,提取基础特征,获得对应特征图和;
12)通过ASIE跨空间信息提取模块提取局部特征,分别获得对应特征图和;
13)同一通道特征拼接:
在RGB通道内,将与沿通道维度进行拼接,形成新的拼接特征;
在Event通道内,同样进行拼接,获得;
对不同通道中经过ASIE跨空间信息提取模块提取后的特征进行融合,过程为:
21)首先对和进行通道变换,通过1×1卷积使二者的通道数一致:,
,
22)通过函数获得各自的权重,然后特征加权融合,
,
,
23)最终融合的特征作为时空特征表示,输入到后续的预测头。
2.如权利要求1所述的复杂驾驶场景中基于RGB-E的目标跟踪方法,其特征在于:所述特征提取网络中每个卷积层后加入残差连接。
3.如权利要求1所述的复杂驾驶场景中基于RGB-E的目标跟踪方法,其特征在于:在特征提取网络中每通道的初始卷积操作后,通过设计的ASIE跨空间信息提取模块将每通道初始卷积操作后得到的子特征进行特征提取,所述ASIE跨空间信息提取模块是基于EMA注意力机制改进所得,所述ASIE跨空间信息提取模块的实施过程为:
1)将特征提取网络中第三个卷积层得到的多尺度特征按照设定训练轮次B分割为多个子特征;
2)使用多尺度卷积和注意力机制,沿着空间上的水平方向和垂直方向进行平均池化,自适应地捕捉局部与全局特征、跨尺度信息、以及跨模态信息,保留水平方向上的长距离依赖和垂直方向上的位置信息,数学函数为:,
和分别表示水平方向和垂直方向池化后的特征,表示平均池化操作。
4.如权利要求1所述的复杂驾驶场景中基于RGB-E的目标跟踪方法,其特征在于:所述预测头中增加基于时间加权的自适应模板更新机制,在每一帧图像中,计算不同尺度下模板与最近帧和历史帧目标图像的相似性,选择相似度最高的尺度因子作为当前帧的尺度变化量,更新模板以适应目标的尺度变化。
5.如权利要求4所述的复杂驾驶场景中基于RGB-E的目标跟踪方法,其特征在于:基于时间加权的自适应模板更新机制为:,
其中,表示更新后的模板帧,表示上一帧模板,表示当前模板帧,是更新权重,逐步融合过去和当前帧信息,使模板缓慢变化,避免突变。