1.一种基于多特征融合级联深度模型的车辆违停检测方法,包括以下步骤:(1)从监控视频中截取视频帧,对获得的帧图像打上车辆标签形成训练样本,构建训练集;
(2)构建网络模型,该模型包括VGG-16网络、改进的RPN网络以及联合神经网络,其中,VGG-16网络用于提取输入图像的初始特征,改进的RPN网络的输入连接于VGG-16的输出,通过设定的多个层级检测阈值对获得前景识别边框进行层级筛选,获得最终前景识别边框和前景特征图,联合神经网络的输入与联合神经网络的输出相连,用于提取前景特征的局部特征和全局特征,并分别计算局部特征和全局特征的损失值,将两个损失值之和作为总的损失值;
(3)利用训练集对步骤(2)中构建的网络模型进行训练,直到训练结束,确定网络模型的参数,即获得车辆识别模型;
(4)将待测图像输入至车辆识别模型中,经计算获得待测图像中的车辆;
(5)根据预先划定的电子围栏,判断步骤(4)中识别的车辆是否在电子围栏区域内,从而确定是否违停。
2.如权利要求1所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,将帧图像输入至网络模型前,还对帧图像进行尺寸调整,以适应网络模型的输入图像尺寸。
3.如权利要求2所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,若输入图像的长和宽分别为x*,y*,帧图像的长和宽分别为x,y,比较 和 若 大,固定x不变,为y加padding,使得 和 的大小相等;同理,若 大,固定y不变,为x加padding;然后,重新设定到指定尺寸。
4.如权利要求2所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,所述改进的RPN网络的结构为:卷积层,用于对输入的初始特征图进行特征提取;
基础RPN网络,用于对卷积层输出的特征图进行卷积操作,获得初始前景识别边框BOX0;
前景识别边框筛选网络,根据预设的层级检测阈值对初始前景识别边框BOX0进行层级筛选,获得最终前景识别边框和前景特征。
5.如权利要求4所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,所述前景识别边框筛选网络包括:第一池化层,用于将获得的初始前景识别边框BOX0映射到原始输入图像中;
第一检测器,利用预设的第一层级检测阈值对初始前景识别边框BOX0进行筛选,获得前景识别边框BOX1;
第二池化层,用于将获得的前景识别边框BOX1映射到原始输入图像中;
第二检测器,利用预设的第二层级检测阈值对前景识别边框BOX1进行筛选,获得前景识别边框BOX2;
第三池化层,用于将获得的前景识别边框BOX2映射到原始输入图像中;
第三检测器,利用预设的第三层级检测阈值对前景识别边框BOX2进行筛选,获得前景识别边框BOX3和前景识别边框BOX3对应的前景特征图。
6.如权利要求1所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,所述联合神经网络包括:Inception1模块,用于提取前景识别边框BOX3对应的前景特征图的特征;
局部特征和全局特征提取网络,用于提取Inception1模块输出特征图的局部特征和全局特征,该局部特征表示前景识别边框BOX3的特征向量,该全局特征表示图像整体空间粒度的特征向量;
第一loss计算模块,包括依次连接的平均池化层、全连接层,该平均池化层接收局部特征和全局特征提取网络输出的全局特征,用于计算全局特征的损失值;
多个Inception2模块,用于提取前景识别边框BOX3对应的前景特征图中的特征;
第二loss计算模块,包括接于每个Inception2模块输出端的平均池化层,同时接于多个平均池化层输出端的全连接层,每个Inception2模块输出的特征与局部特征和全局特征提取网络输出的局部特征相加后输入到对应的平均池化层中,然后经过全连接层操作后,计算局部特征的损失值;
第三loss计算模块,用于求全局特征的损失值和局部特征的损失值的和,作为整个联合神经网络的损失值。
7.如权利要求6所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,所述局部特征和全局特征提取网络包括全局特征提取网络和局部特征提取网络,其中:在全局特征提取网络中,对输入的特征图依次进行降维操作和两次卷积操作,获得保证图像尺寸的特征;对输入的特征图依次进行平均池化和两次卷积操作,获得保证图像空间深度的特征;将保证图像尺寸的特征与保证图像空间深度的特征进行卷积和归一化后,获得保证图像整体空间粒度的全局特征;
在局部特征提取网络中,对全局特征提取网络中平均池化层输出的特征进行全连接和tanh激活后获得局部特征。
8.如权利要求6所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,所述Inception1模块包括:第一路:对输入的特征图依次进行卷积核为1×1、3×3、3×3的三次卷积操作,获得第一路输出特征图;
第二路:对输入的特征图依次进行卷积核为1×1、3×3的两次卷积操作,获得第二路输出特征图;
第三路:对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作,获得第三路输出特征图;
第四路:对输入的特征图进行卷积核为1×1的卷积操作,获得第三路输出特征图;
Filter Concation:对四路输出的四个特征图进行合并。
9.如权利要求6所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,所述Inception2模块包括:第一路:对输入的特征图依次进行卷积核为1×1、1×3、3×1、1×3、3×1的五次卷积操作,获得第一路输出特征图;
第二路:对输入的特征图依次进行卷积核为1×1、1×3、3×1的三次卷积操作,获得第二路输出特征图;
第三路:对输入的特征图依次进行池化操作、卷积核为1×1的卷积操作,获得第三路输出特征图;
第四路:对输入的特征图进行卷积核为1×1的卷积操作,获得第三路输出特征图;
Filter Concation:对四路输出的四个特征图进行合并。
10.如权利要求5所述的基于多特征融合级联深度模型的车辆违停检测方法,其特征在于,第一层级检测阈值为0.5,第二层级检测阈值为0.6,第三层级检测阈值为0.7。