1.一种基于视觉测距的交通信号灯识别网络训练方法,其特征在于,包括以下步骤:
步骤1、对采集的图像进行标注,制作交通信号灯数据集:所述信号灯数据集由信号灯图像、归一化后的ROI区域信息、真实标签信息作为一个基本数据单元;并将数据集按8:1:1比例分为train、trainval、test三个子数据集,其中train、trainval数据集用于训练及训练过程的性能验证;test用于对网络性能进行最终评价;
步骤2、利用步骤1建立的数据集对信号灯识别网络模型进行训练:
步骤21、首先,建立信号灯识别网络模型,信号灯识别网络模型包含主干网络、特征融合网络和特征解码器三部分;
步骤22、将训练集中相机采集到的信号灯图像送入所述信号灯识别网络模型的主干网络中,提取图像特征,获得特征图;然后将提取到的特征图送入所述特征融合网络,获取检测头特征图TC1、TC2、TC3;
步骤23、将步骤1归一化后的ROI区域信息,映射到步骤22得到的检测头特征图中,生成ROI特征图:设检测头特征图高宽尺寸分别为hti、wti,则ROI区域在对应检测头特征图的位置信息为 截取ROI区域在检测头特征图映射区域的特征图作为ROI特征图;
其中,Pw、Ph分别为图像宽度和高度,Xc为ROI区域中心点的x轴坐标,Xc是以图像中心点横坐标X中心为采样中心,利用高斯概率密度函数在[0,Pw]范围内采样获得;Yc为ROI区域中心点的y轴坐标,Yc的取值在Ycmax到Ycmin范围内随机采样获得;ROI区域中心点的y轴坐标值的上下取值边界,分别记为Ycmax,Ycmin,其中Ycmax=H板1+αh1,Ycmin=H板1‑αh1,其中α是自适应系数, H板为信号灯板中心点的高度,f为相机焦距,H板1为H板在图像坐标系的投影,h1为信号灯板的垂向长度h在图像坐标系的投影;Sc为车辆与交通信号灯之间的水平距离,R为预设阈值,e为自然常数;
步骤24、将获得的ROI特征图与步骤1中获得的真实标签进行对比,筛选出与真实标签最匹配的ROI特征图作为初始预测框特征图;
步骤25、特征解码器对筛选出的初始预测框特征图进行分类和精调整,获得最终的信号灯预测框信息;
步骤26、通过Loss函数计算信号灯预测框和真实标签之间的损失函数,确定网络参数进化方向,优化信号灯识别网络模型;
步骤3、利用损失函数采用梯度下降法对模型参数进行优化,用trainval子数据集对训练好的网络模型进行网络模型超参数调整,用test子数据集对最终的网络模型进行评价;
当训练过程中loss趋于平缓且连续3个训练周期网络性能无提升时,选取最后的训练模型为最优模型,完成训练过程。
2.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法,其特征在于,
所述步骤1中ROI区域信息通过ROI提取系统提取获得,所述ROI提取系统包括GPS模块、电子地图模块、测距模块和ROI提取模块;其中,GPS模块获取车辆实时位置信息(X1c,Y1c),并记录时间戳为Tc;在Tc时刻,电子地图模块根据车辆实时位置信息,提取车辆运动方向上的信号灯位置坐标(XL,YL);测距模块利用如下公式计算Tc时刻车辆与交通信号灯之间的水平距离Sc;
测距模块判断车辆和交通信号灯之间的距离Sc是否超过预设阈值R:若Sc大于R,ROI提取系统不启动,测距模块进入下一时刻循环,继续检测Sc和R的关系,当Sc小于等于R,说明车辆已经进入交通信号灯识别区域,则启动ROI提取系统;
ROI提取模块用于确定信号灯的ROI区域信息,并对ROI区域特征向量进行归一化,归一化后的ROI区域特征向量表示为: 其中,Pw、Ph分别为图像宽度和高度。
3.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法,其特征在于,所述步骤2中主干网络包括依次交替的3个CRC模块和3个CRT模块,每个CRC模块包括CONV模块、Residual模块和CBAM模块,每个CRT模块包括CONV模块、Residual模块和Transform模块;
其中,CONV模块为卷积下采样模块,对输入的特征图进行二倍率下采样;Residual模块为残差网络结构,通过内部残差块的跳跃连接,降低因网络加深带来的梯度消失问题;
Transform模块为注意力网络模型;CBAM模块包括通道注意力和空间注意力两个部分,CBAM模块沿着空间和通道两个维度依次推断注意力权重,能够提取图像信息中的目标信息。
4.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法,其特征在于,所述步骤2中特征融合网络获取检测头特征图的方法为:首先选择主干网络的第三个CRT模块的输出,记为T3;将T3送入CONV模块进行1×1卷
积,然后将输出送入upsample模块,每个upsample模块都会对特征图进行一次上采样,进行两次上采样后,与主干网络的第二个CRT模块输出的特征图采用Concat方法进行特征图拼接,并将输出通过CBAM模块进行进一步的特征提取,记最终输出为T2;其中,Concat是深度学习网络中常用的特征图拼接方法;
将T2送入CONV模块,采用1×1卷积核调整通道数,然后送入upsample模块进行两次上采样,将上采样后的结果与主干网络的第一个CRT模块输出采用Concat方法进行特征拼接,并将输出通过CBAM模块进行进一步的特征提取,记最终的输出结果为T1;
选择主干网络的第一个CRC模块,记为C1,将C1送入CONV模块,采用3×3的卷积核进行两次卷积下采样,然后将下采样输出与主干网络的第二个CRC模块输出采用Concat方法进行拼接,然后采用Transform模块提取有效特征,输出特征图记为C2;将C2送入CONV模块,进行2次下采样,将下采样结果和主干网络的第三个CRC模块输出采用Concat方法进行拼接,然后采用Transform模块进行特征提取,输出特征图记为C3;
获得T1、T2、T3、C1、C2、C3后,将T1输入upsample模块,上采样后与C1采用Concat方法进行拼接,输出特征图,作为检测头,记为TC1;将T2输入upsample模块,上采样后与C2采用Concat方法进行拼接,输出特征图,作为检测头,记为TC2;将T3输入upsample模块,上采样后与C3采用Concat方法进行拼接,输出特征图,作为检测头,记为TC3。
5.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法,其特征在于,所述步骤24具体为:步骤241、将ROI特征图采用softmax处理,将ROI特征图分为前景图像和后景图像,筛选出属于前景图像的ROI特征图;
步骤242、将每个筛选出的前景图像ROI特征图逐一与对应图像的真实标签进行组合,计算CIOU值;
步骤243、每个前景图像ROI特征图保留一个与之匹配的最佳真实标签,以数组形式储存,记为RBest,其中RBest的每一项包括如下内容{Iroi,Igt,Vciou},其中Iroi表示ROI特征图相关信息,Igt表示与ROI特征图匹配的最佳真实标签,Vciou表示前景图像ROI特征图和与之匹配最佳真实标签之间的CIOU值;
步骤244、对RBest数组按Vciou值大小进行降序排序,然后按Vciou值从大到小逐个获取RBest数组的元素;设GT为真实标签与ROI区域特征图最佳匹配数组,初始条件将GT初始化为空,然后判断获取到的RBest数组元素的Igt是否已经包含在GT的元素中,若不在,则认为该项数组元素的Iroi、Igt为最佳匹配关系,将该项数组元素存入GT中;若RBest数组元素的Igt在GT的元素中已经存在,说明已经找到了该真实标签的最佳匹配ROI特征图,不对GT数组更新;当GT的长度和图像标签的数量相等时,或RBest数组全部完成遍历时,停止该过程,最后保存在GT中元素的Iroi即为真实标签的最佳匹配ROI特征图,将GT中元素的Iroi作为初始预测框特征图。
6.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法,其特征在于,所述Loss函数由三部分组成,包括目标框损失函数、置信度损失和分类损失;其中,置信度损失和分类损失使用交叉熵损失函数形式;目标框损失函数公式如下:其中,NCIoU为目标框损失函数,CIoU目标检测领域常用的目标框损失函数,e为自然常数;宽度因子 其中,wp是预测框宽度,wg是标签真实框的宽度;高度因子其中,hp是预测框高度,hg是标签真实框的高度, 表示标签真实框与
预测框的面积比。
7.根据权利要求1所述的一种基于视觉测距的交通信号灯识别网络训练方法,其特征在于,所述步骤25具体为:将筛选出的初始预测框特征图送入特征解码器的全连接层进行分类,获得预测框类别及置信度,然后通过特征解码器的回归模块对初始预测框特征图尺寸进行修正,获得最终的预测框尺寸信息;将预测框的类别及置信度和预测框尺寸信息合并在一起组成信号灯预测框信息[class,conf,box],其中class表示预测框类别,conf表示预测框类别的置信度,box表示预测框尺寸信息;所述回归模块采用Faster RCNN网络中的bounding box regression模块。
8.一种基于视觉测距的交通信号灯识别网络测试方法,其特征在于,包括以下步骤:
步骤S1、测试车辆启动相机,并实时通过ROI提取系统获取测试车辆与道路前方信号灯距离,若距离小于阈值,则启动信号灯检测模块,若大于阈值,则继续监测;
步骤S2、将相机采集到的图像按时间戳标记作为网络输入,同时将对应时间戳提取的ROI信息送入权利要求1‑7任一项的方法获得的训练后的模型中,输出预测框信息[class,conf,box];其中class表示预测框类别,conf表示预测框类别的置信度,box表示预测框尺寸信息;
步骤S3、将步骤S2输出的预测框进行进一步筛选,保留最合理的预测框组合;
步骤S4、在保留的预测框组合中,计算各保留的预测框组合的平均conf值,保留平均conf最高的预测框组合作为最终的预测框输出。
9.根据权利要求8所述的一种基于视觉测距的交通信号灯识别网络测试方法,其特征在于,所述步骤S3具体为:步骤S31、将所有预测框信息以conf为判断依据进行筛选:遍历所有预测框,当conf>Tc时,保留该预测框,否则直接剔除掉该预测框;Tc为类别筛选阈值;
步骤S32、对保留的预测框按类别进行分组,同一类别的预测框作为一组;
步骤S33、对分组后的各类别的预测框分别进行最大值抑制运算,保留各类别最大值抑制后的输出结果;将保留下来的预测框的box分别减去对应类别的相对极大值,恢复各预测框原来的位置信息;
步骤S34、筛选合理的预测框组合。
10.根据权利要求9所述的一种基于视觉测距的交通信号灯识别网络测试方法,其特征在于,所述步骤S34具体为:步骤S341、对预测框类别进行归类筛选:
对于同一帧图像,按照各个信号灯真实标签之间存在固定的组合关系进行分组,共有7种组合:1)左转箭头形红灯,直行箭头形红灯或圆形红灯,右转箭头形绿灯;2)左转箭头形红灯,直线箭头形绿灯或圆形绿灯,右转箭头形绿灯;3)左转箭头形绿灯,直线箭头形红灯或圆形红灯,右转箭头形红灯;4)左转箭头形绿灯,直线箭头形绿灯或圆形绿灯,右转箭头形红灯;5)左转箭头形绿灯,直线箭头形绿灯或圆形绿灯,右转箭头形绿灯;6)左转箭头形红灯,直线箭头形红灯或圆形红灯,右转箭头形红灯;7)左转箭头形红灯,直线箭头形绿灯或圆形绿灯,右转箭头形红灯;无论左转、直行还是右转出现黄灯,都是合理的信号灯状态;
将分组后的预测框,分为三大类:1)左转类;左转箭头形红灯、左转箭头形绿灯、左转箭头形黄灯;2)直行类:直行箭头形红灯、直线箭头形绿灯、直行箭头黄灯、圆形红灯、圆形绿灯、圆形黄灯;3)右转类:右转箭头形红灯、右转箭头形绿灯、右转箭头形黄灯;
在各个大类类别内,对预测框采用NMS方法进行筛选,然后按conf大小进行降序排列;
然后,对各个大类类别中保留的预测框逐一遍历组合,剔除掉不满足上述7类组合形式的预测框;在组合后的预测框目标中仅包含部分组合目标也认为是合理预测,将预测框保留;
步骤S342、依次遍历保留的预测框组合,对每个预测框组合中的预测框按几何位置关系进行筛选:
各组合预测框信息表示如下:左转类预测框信息表示如下[confl,x1l,y1l,x2l,y2l,],confl表示左转类预测框类别置信度,x1l表示左转类预测框左上角横坐标值,y1l表示左转类预测框左上角纵坐标,x2l表示左转类预测框右下角横坐标值,y2l表示左转类预测框右下角纵坐标;右转类预测框信息表示如下[confr,x1r,y1r,x2r,y2r],confr表示右转类预测框类别置信度,x1r表示右转类预测框左上角横坐标值,y1r表示右转类预测框左上角纵坐标,x2r表示右转类预测框右下角横坐标值,y2r表示右转类预测框右下角纵坐标;直行类的预测框信息表示如下[confs,x1s,y1s,x2s,y2s],confs表示直行类预测框类别置信度,x1s表示直行类预测框左上角横坐标值,y1s表示直行类预测框左上角纵坐标,x2s表示直行类预测框右下角横坐标值,y2s表示直行类预测框右下角纵坐标;对于一个交通路口的交通灯组合,左转类信号灯、直行类信号灯和右转类信号灯在水平方向上等距分布,即左转类预测框和直行类预测框水平距离 右转类预测框和直行类预测框水平距离当|Xls‑Xrs|≤δ时,保留该预测框组合,否则将该预测框进行剔
除,其中δ为距离相似度阈值,缺省值设为max(0.4Xls,0.4Xrs),max()表示取两者的最大值。