1.一种基于改进SSD的人群异常行为检测方法,其特征在于:具体包括以下步骤:步骤一、数据预处理:包括视频帧序列化、图像标注、划分数据集
1)视频帧序列化:通过python中集成的多媒体操作开源程序,对视频进行包括裁剪、截取功能;
2)图像标注:利用图像标注工具对异常行为检测数据集进行标注,将每幅图像中的异常行为分别用矩形框框出来,并标明所属类别;
3)划分数据集:将第2)步扩充得到的数据集划分为训练集及测试集,并将原始图片压缩为SSD网络默认大小的图像;
步骤二、训练并评估SSD网络模型
将步骤一第3)步处理完成的图像作为SSD网络模型的输入图像,并设置SSD网络模型的运行参数,在实验操作平台上对SSD网络模型进行训练,然后采用异常行为检测领域常用的评估指标对训练的SSD网络模型进行效果评估;
步骤三、针对步骤二评估进行SSD网络改进
1)替换特征提取网络
将SSD网络的特征提取网络替换为轻量网络MobileNet v2网络,以减小网络模型参数规模;
2)嵌入可变形卷积模块
通过增加方向向量改变传统卷积核固定的尺寸和大小,使其能够自适应调整自身形状应对不同尺度、形变的目标主体,从而更好地提取输入特征;
3)设计注意力机制模块
SSD网络模型通过提取SSD网络默认的六个不同尺度的特征图来检测目标对象,特征图中包含了包括特征通道和位置信息,图中内容对目标检测任务的结果贡献不同即显著性不同,利用坐标注意力模块,通过学习的方式,抑制不显著的特征,增强网络中特征的表达能力,通过学习得到上下文关系,能够捕获空间位置之间的远程依赖关系,根据人群中未遮挡部分的异常行为来预测遮挡部分的异常行为,进而提升目标检测效果;
步骤四、训练改进SSD网络
将步骤一第3)步中经数据处理过的图像作为步骤三中改进SSD网络的输入图像,并设置网络模型的运行参数,在实验操作平台上对步骤三改进的SSD网络模型进行训练,采用异常行为检测领域常用的评估指标对改进SSD的检测结果进行评估,并输出最终异常行为检测结果。
2.根据权利要求1所述的一种基于改进SSD的人群异常行为检测方法,其特征在于:所述步骤三第2)步的具体方法如下:
2.1)输入图片经过一个普通卷积得到输入特征图;
2.2)将输入特征图上半部分卷积得到偏移量ΔPn;
2.3)使用双线性插值来表示偏移位置;
2.4)将获得的偏移量加到输入特征图得到新的采样位置,然后使用卷积核提取特征得到输出特征图;
卷积核的定义:
R={(‑1,‑1),(‑1,0),...(0,1),(1,1)} (1)其中,R定义了感受野的大小和扩张;
普通卷积的输出是:
其中,X为输入,Y为输出,W为权重矩阵,P0为特征图上的每个点,Pn是网格中的n个点;
可变形卷积的输出是:
其中,ΔPn为坐标偏移量。
3.根据权利要求1所述的一种基于改进SSD的人群异常行为检测方法,其特征在于:所述步骤三第3)步的具体方法如下:坐标注意力模块将通道注意力分解为两个并行的一维特征编码过程,把空间坐标信息有效整合到生成的注意图中;即对X水平和Y垂直方向执行平均池化得到两个一维向量,接下来在空间维度上拼接和1×1卷积来压缩通道,然后通过BN层和ReLU来编码两个方向的空间信息并切分,接着各自通过卷积得到和输入特征图相同的通道数,归一化加权,最后与原特征图相乘,以此来对特征进行自适应调整;
将坐标注意力模块放置于卷积层之后、BN层之前,通过将位置信息整合到通道注意力中来进行特征增强,分别用坐标注意力模块增强经MobileNet v2提取的输出特征图。
4.根据权利要求1所述的一种基于改进SSD的人群异常行为检测方法,其特征在于:所述步骤二、步骤四中网络模型的运行参数包括初始学习率,学习动量,权重衰减率,采用随机梯度下降法SGD更新网络参数。
5.根据权利要求1所述的一种基于改进SSD的人群异常行为检测方法,其特征在于:所述步骤二、步骤四中异常行为检测领域常用的评估指标为AUC;受试者工作特征为ROC;ROC曲线的横、纵坐标分别表示假正例率FPR、真正例率TPR;其中:TPR表示在所有真正例的样本中,被正确地判断为正例的比率;FPR表示在所有真反例的样本中,被错误地判断为正例的比率;
FPR为横坐标,TPR为纵坐标,其计算公式如下:
式中,表示判断为正例,实际为正例;表示判断为正例,实际为反例;表示判断为反例,实际为反例;表示判断为反例,实际为正例。