1.一种基于实例级注意机制的交通异常事件检测方法,应用于异常事件检测网络中;
其特征在于:所述异常事件检测网络包括:前端检测模块、特征提取模块、双向长短时记忆模块、长短时记忆模块、Attention模块和Softmax分类模块;所述前端检测模块为多目标检测器,所述特征提取模块为VGG19网络,所述双向长短时记模块包括一层BLSTM,所述长短时记忆模块包括两层LSTM;所述Attention模块采用软注意机制;所述Softmax分类模块包括一层Softmax分类器;其中,所述两层LSTM和一层BLSTM的时间步长相配合,所述一层Softmax分类器中Softmax分类器的具体数量与所述时间步长相匹配,且所述时间步长根据具体应用情况设定;
所述一种注意机制的交通异常事件检测方法,具体包括如下步骤:
S101:实时获取待检测路段的交通监控视频,采用OpenCV提取所述交通监控视频的视频帧;并将连续三个视频帧作为一组,组成连续多组帧数据;
S102:采用VGG19网络分别对当前帧数据中的视频帧的视频特征进行提取,得到对应的三个视频特征ft-1、ft和ft+1;
S103:将所述视频特征ft-1、ft和ft+1作为多目标检测器的输入,得到三个目标物的检测结果;
S104:根据所述目标物的检测结果,采用VGG19网络分别提取对应的目标物信息p(t-1)i、p(t)i和p(t+1)i;其中,i为各视频帧中目标物的编号;
S105:将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入,得到对应的三个记忆输出 和S106:依次将三个记忆输出 和 输入长短时记忆模块,得到对应的输出
和
S107:将三个输出 和 分别输入至Softmax分类模块,得到三个对应的分类输出,进而根据对应的分类输出完成当前帧数据中三个连续的视频帧的异常事件的检测以及事件的类型识别;同时将下一组帧数据作为下一次检测的当前帧数据,以进行下一组帧数据的检测,返回步骤S102。
2.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S102中,所述视频特征的大小为14*14*512或者使用TensorFlow中的reshape方法将所述视频特征大小调整为196*512,便于作为后续模块的输入。
3.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S103中,所述目标物为车辆或者人;所述多目标检测器为现有的可自主学习的多目标检测器,且所述多目标检测器为训练好的可用的多目标检测器;在检测开始之前,使用鼠标在第一帧视频上框选出多个待检测的目标物作为训练数据,所述多目标探测器将利用所述训练数据自行训练成为可用的多目标检测器。
4.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S104中,所述目标物特征大小为14*14*512或者使用TensorFlow中的reshape方法将所述目标物特征大小调整为196*512,便于作为后续模块的输入。
5.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S105中,将所述视频特征ft-1、ft和ft+1作为双向长短时记忆模块的输入时,t时刻的输入ft的BLSTM输出 中包含了t-1时刻输出 和t+1时刻输出 故t时刻BLSTM输出保存了上一帧视频特征ft-1、当前帧视频特征ft以及下一帧视频特征ft+1。
6.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:步骤S106中,依次将三个记忆输出 和 输入长短时记忆模块,得到对应的输出 和 包括如下步骤:S201:在t-1时刻,将 p(t-1)i和 作为Attention模块的输入,计算出当前时刻对每一个目标物的注意系数at-1;其中, 为上一帧视频的视频特征输入长短时记忆模块后,最后一层LSTM的输出;
S202:将 at-1和 作为所述长短时记忆模块的最后一层LSTM的输入,得到视频特征ft-1对应的视频帧的事件状态S203:返回步骤S201进行迭代,依次得到 和 对应的事件状态 和
7.如权利要求1所述的一种基于实例级注意机制的交通异常事件检测方法,其特征在于:所述长短时记忆模块中的LSTM和双向长短时记忆模块中的BLSTM均为采用梯度下降训练法训练后的网络;采用铰链损失函数进行训练,表达式如下:上式中,k是预设的异常事件的类别代码,K为异常事件的总类别数;wk是对应异常事件类别k的权重向量;训练时,当预测异常事件类别和真实事件类别相同时yk=1,反之yk=-1;
t为样本编号,T为样本总数量。