1.一种面向交通场景的异常行为检测方法,其特征在于,所述方法包括以下步骤:S100:采集交通场景视频数据,建立有标签的交通场景视频数据集,根据视频数据集中的数据内容,建立基于交通场景视频数据集的文本数据集;
S200:将视频数据集中的视频数据输入至网络中进行预处理;
S300:构建视频数据编码网络和文本数据编码网络,视频数据编码网络包括分块模块、线性编码层、视频窗口移位编码模块和下采样模块,文本数据编码网络包括编码器;
S400:将预处理完毕的数据输入到视频数据编码网络中,采用基于窗口移位和全局注意力标签的方法训练视频数据编码网络,得到视频数据的注意力编码信息;S400包括:S410:将预处理完毕的视频帧序列输入到分块模块中进行分块;
S420:通过线性编码层对每个像素的通道数据做线性编码;
S430:将线性编码之后的数据输入视频窗口移位编码模块中,采用基于窗口移位和全局注意力标签的方法提取空间维度与时间维度的特征;
S440:再通过下采样模块对数据进行降维,将空间维度的信息压缩到通道上,送入下一个视频窗口移位编码模块再次采用基于窗口移位和全局注意力标签的方法提取空间维度与时间维度的特征,直至达到预设的结束条件,得到视频数据的注意力编码信息;
视频窗口移位编码模块包括第一视频窗口移位编码单元和第二视频窗口移位编码单元,第一视频窗口移位编码单元包括第一标准化层、3D W-MSA层、第二标准化层和第一MLP层,第二视频窗口移位编码单元包括第三标准化层、3D SW-MSA层、第四标准化层和第二MLP层,S430具体为:在线性编码之后的数据
随后
将GA从
S500:将文本数据集输入到文本数据编码网络中进行训练得到文本数据的注意力编码信息;
S600:计算视频数据的注意力编码信息和文本数据的注意力编码信息的余弦相似度,根据余弦相似度构建相似度矩阵,结合预设的损失函数计算损失并进行反向传播,直至达到预设的训练结束条件时得到训练好的视频数据编码网络;
S700:获取实时交通场景视频数据输入至训练好的视频数据编码网络得到实时视频数据的注意力编码信息,输入至检测头得到异常行为检测结果。
2.根据权利要求1所述的方法,其特征在于,S100包括:S110:采集交通场景视频数据,将采集数据剪切出有明显动作边界的视频片段,每个视频片段在预设时长以内;
S120:将持续时间在第一预设时长范围的数据分为动作稀疏数据集,将持续时间在第一预设时长范围的数据分为稠密数据集;其中,第二预设时长范围的最小值大于第一预设时长范围的最大值;
S130:将两个数据集的所有行为进行分类,并以预设比例划分出训练集,验证集与测试集;
S140:根据视频数据集中的数据内容,建立基于交通场景视频数据集的文本数据集。
3.根据权利要求2所述的方法,其特征在于,S200包括:S210:将视频数据集中连续的视频帧存储在缓冲栈中,若超过栈最大容量M则将栈的前M/2的数据舍弃,在末尾继续存储新采集到的视频帧;
S220:将缓冲栈中的数据输入到预处理模块中,分别以1/N ,2/N,……,k/N帧为起点,间隔采样步长s开始对视频帧进行采样,每个起点采样m帧画面之后结束,共采样得到
4.根据权利要求3所述的方法,其特征在于,S430具体为:其中,GA表示全局注意力标签,
5.根据权利要求4所述的方法,其特征在于,S500包括:S510:文本数据编码网络中的编码器为文本中的词添加位置信息,随后构建出查询矩阵、键矩阵以及值矩阵;
S520:将带有位置信息的文本内容输入到查询矩阵、键矩阵以及值矩阵中之后生成查询矩张量、键张量以及值张量;
S530:将查询张量与键张量进行点乘运算之后进行归一化,再与键张量相乘;
S540:重复S520和S530预设次数后得到文本数据的注意力编码信息。
6.根据权利要求5所述的方法,其特征在于,S500中计算视频数据的注意力编码信息和文本数据的注意力编码信息的余弦相似度,具体为:其中,
7.根据权利要求6所述的方法,其特征在于,在视频数据编码网络训练过程中,从动作稀疏数据集中取n个数据,从动作稠密数据集中取m个数据,首先使用动作稀疏数据集中取的n个数据训练个轮次,再使用从动作稠密数据集中取的m个数据训练个轮次,共训练E个轮次,完成视频数据编码网络训练。
8.根据权利要求7所述的方法,其特征在于,S700中实时视频数据的注意力编码信息输入至检测头得到异常行为检测结果,包括:实时视频数据的注意力编码信息输入至检测头,检测头将实时视频数据的注意力编码信息通过一个全连接层投影到一个N维的向量,其中,N表示可能的动作类别,N维的向量中每一个元素代表输入视频中存在该动作的可能性;
通过可能性阈值过滤误检,得到最终异常行为检测结果。