1.一种基于视频监控的新能源车牌检测方法,其特征在于,包括以下步骤:
S1,采集若干含车牌区域的新能源车辆图片,对每张图片中新能源车辆的车牌区域进行手工精确标点工作,建立训练模型的数据集;
S2,构建新能源车牌检测训练神经网络,所述神经网络包括特征提取模块、特征融合模块和预测结果输出模块;将建立好的数据集输入神经网络获取新能源车牌检测模型;
S3,从监控视频中获取一帧含有车辆及车牌的图像,对所述一帧图像中的车辆进行检测筛选,筛选出新能源车辆图像作为待检测图像,得到多个待检测图像,并以监控视频帧序列中新能源车辆出现的时间顺序给所述多个待检测图像命名,建立待检测新能源车辆图像集合;
S4,根据所述新能源车牌检测模型对待检测新能源车辆图像进行车牌区域检测,得出基于不同置信度的候选框;
S5,根据不同置信度的候选框分配不同的权重值对候选框进行合并,并对车牌坐标进行精确回归,产生精确位置坐标信息,得到最终新能源车牌检测结果。
2.根据权利要求1所述的一种基于视频监控的新能源车牌检测方法,其特征在于,步骤S1中,所述手工精确标点工作包括:对新能源车牌区域左上角、右上角、右下角和左下角四个点依次进行顺时针标注;所述数据集为包含四个坐标点的八个数值信息txt格式文本。
3.根据权利要求1所述的一种基于视频监控的新能源车牌检测方法,其特征在于,步骤S2中,所述特征提取模块采用自上而下的方式,逐层提取车牌不同粒度特征;所述特征提取模块采用4个卷积块共10个卷积层,第一和第二个卷积块均包含2个卷积层和1个池化层,第三和第四个卷积块均包含3个卷积层和1个池化层;所述卷积块对训练数据集提取特征并输出3个特征图;
所述特征融合模块将提取的特征自下而上进行融合;所述卷积块输出的特征图记为fi(i=1,2,3),所述3个特征图的尺寸分别是输入图像尺寸的1/16,1/8,1/4;特征融合的公式如下:其中,gi表示融合的基准特征图,hi是融合后的新特征图,将上一层特征图gi-1通过上采样将图的尺寸放大一倍,再与当前层特征图fi进行融合,使用conv1*1减少通道数和计算量,使用conv3*3融合特征信息;在最后的融合操作中,使用一个conv3*3产生最终融合后的特征图,并传入输出层;
所述预测结果输出模块包含7个通道,用于输出多个候选框、各候选框对应的置信度值以及新能源车牌区域的几何形状;其中,1个通道用于判断新能源车牌文字区域是否在检测框内;2个通道用于判断候选框是否属于新能源车牌文字区域框的边界像素;4个通道用于输出预测的边界像素对应的2个顶点坐标。
4.根据权利要求1所述的一种基于视频监控的新能源车牌检测方法,其特征在于,步骤S2中,所述新能源车牌检测模型为:(plate_box,score)=plate_detection(src)=Conv10(src)+network(Feature)+plate_box_pred(side_pix)其中,plate_box表示检测到的所有新能源车牌的坐标位置,score表示对应车牌区域的最终置信度得分,plate_detection()表示新能源车牌的检测定位模型,Conv10()表示
10层卷积神经网络提取特征,network()表示特征融合网络,plate_box_pred()表示坐标回归器。
5.根据权利要求1所述的一种基于视频监控的新能源车牌检测方法,其特征在于,步骤S3中,所述获取的一帧图像大小为2592*2048像素点;
所述步骤S3还包括:对待监测新能源车辆图像集合中的所有图像进行归一化操作,将所有图像统一大小为256*256像素点。
6.根据权利要求1所述的一种基于视频监控的新能源车牌检测方法,其特征在于,步骤S5中,所述候选框的合并包括以下步骤:S51,将所有经过检测模型输出的候选框按置信度得分排序,选中最高分和次高分分别对应的候选框;
S52,遍历其余的候选框,若有和当前两个高分候选框的重叠面积大于设定阈值的候选框存在,则对当前两个高分候选框进行基于权重得分的合并;
S53,再从其余的候选框中继续选出两个得分最高的候选框,重复步骤S52,直到其余的候选框中不存在和当前两个高分候选框的重叠面积大于设定阈值的候选框为止。
7.根据权利要求6所述的一种基于视频监控的新能源车牌检测方法,其特征在于,步骤S52中,所述基于权重得分合并的公式为:m=weighted_merge(g,p)
mi=V(g)gi+V(p)pi
V(m)=V(g)+V(p)
其中,mi是m区域候选框的坐标之一,V(m)是候选框m的置信度得分,通过加权平均的方式来确定四边形的形状,p和g是两个候选框区域。