1.基于YOLOv3的同步端到端车牌定位与识别方法,其特征在于包括以下步骤:
步骤1:获取车牌外接矩形框以及车牌号信息,制作成数据集标签文件,将数据集分为训练数据集、验证数据集和测试数据集;
步骤2:训练基于YOLOv3的车牌检测与识别一体化网络LP-Yolo,使之能在检测车牌的同时实现对多种类型车牌的识别,将训练数据集增广后,放入网络训练;
步骤3:利用训练好的网络模型,在测试数据集上对车牌进行定位和识别,然后评估模型。
2.根据权利要求1所述基于YOLOv3的同步端到端车牌定位与识别方法,其特征在于步骤3中,利用训练好的网络模型,在测试数据集上对车牌进行定位和识别,然后使用精确率与召回率两个指标来评估模型,具体计算见公式(14)(15),在对模型进行评估时,若精确率和召回率较低,可以通过改变训练次数、学习率等重新训练模型;
Precision=TP/(TP+FP) (14);
Recall=TP/(TP+FN) (15);
其中:TP为真阳性,表示检测正确的车牌数量;FP为假阳性,表示非车牌被检测为车牌的数量;FN为假阴性,表示车牌被检测为非车牌的数量。
3.基于YOLOv3的端到端车牌检测与识别网络LP-Yolo,其特征在于:
该网络不仅预测车牌位置信息,同时还能够预测车牌号信息,网络的输出层特征通道数nfilter如公式(10)所示:nfilter=boxNum*(classes+coord+conf+lpc+lpn) (1)其中,boxNum表示每个单元格预测的边界框(bounding box)个数,即每个尺度对应一个边界框,coord表示边界框的位置信息,即中心点坐标(x,y)和宽w高h,conf表示置信度,classes为类别个数,lpc表示车牌类型所占位数,lpn为车牌号所占位数;
网络LP-Yolo增加了新的预测信息,在原有损失函数的基础上增加车牌类型及车牌号信息预测的损失,如公式(11)、公式(12)、公式(13)所示:NTotal_loss=Total_loss+lpc_loss+lpn_loss (2)其中,NTotal_loss、Total_loss、lpc_loss、lpn_loss分别为改进模型的总损失、原始模型总损失、车牌类型损失、车牌号损失;S×S为特征图尺寸;B为特征图每个网格单元(cell)产生的边界框数目;M、N分别为车牌类型和车牌号编码位数;λlpc、λlpn分别为车牌类型损失权重、车牌号信息损失权重; 分别表示第i个网格的第j个anchor是否负责预测目标,当负责时, 取值为1,否则, 取值为0; 分别为车牌类别和车牌号真实编码值;pcik、pnik分别为车牌类别和车牌号的网络预测。
4.根据权利要求3所述基于YOLOv3的端到端车牌检测与识别网络LP-Yolo,其特征在于:所述LP-Yolo网络结构,网络输入为416*416*3,经过一系列特征提取后,输出3个不同尺寸的特征图,分别为:13*13*nfilter、26*26*nfilter、52*52*nfilter,其中,nfilter为通道数,特征图中的每个网格会预测三组目标信息。
5.根据权利要求3所述基于YOLOv3的端到端车牌检测与识别网络LP-Yolo,其特征在于:所述LP-Yolo网络结构,能够预测A信息和B信息,A信息是预测目标边界框的信息,包括边界框的中心点(x,y)、宽高(w,h)、置信度s及类别c,对车牌一类目标进行处理,故类别数为1,每个边框信息占6位;
B信息是预测检测到的区域内的车牌类别及车牌号信息,对三种类型车牌进行分类识别,分别为普通黄蓝黑牌、双层黄牌、新能源车牌,其中前两种车牌长度均为7,后一种长度为8;编号0的部分为车牌类型表征位,编号为1-8的区预测当前所检测到的车牌牌号,如果车牌类型后续还有增加,能够对其扩展,只需要增加表征车牌类型的编码位数。
6.根据权利要求5所述基于YOLOv3的端到端车牌检测与识别网络LP-Yolo,其特征在于:引入二进制编码的方法来处理车牌类型及车牌号的预测,编码规则为:编号为0的位预测车牌类型,包括3类,使用2位二进制数编码;
编号为1的位预测省份简称,包括31类,使用5位二进制数编码;
编号为2的位预测发证机关代码,包括“A-Z”中除字母“O”、“I”的24个字符,使用5位二进制数编码;
编号为3-8的位预测车牌号字符,包括“A-Z”中除字母“O”、“I”的24个及数字“0-9”,共
34类,使用6位二进制数编码,其中,编号8的预测仅在类型为新能源车牌时有效。