1.一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,包括如下步骤:步骤1:云服务器运用YOLOv5和DeepSORT算法训练车辆跟踪模型;
具体包括:
步骤11:使用YOLOv5算法训练车辆监测模型;
步骤111:将输入的交通视频序列图片进行预处理,通过K‑Means算法生成先验框,在K‑Means算法中,使用的是欧氏距离来完成聚类,而YOLOv5采用处理后的IOU作为欧氏距离:Distance(i,center)=1‑IOU(i,center)然后得到的五个聚类中心便是先验框的宽高;
步骤112:利用Focus结构得到没有信息丢失情况下的二倍下采样特征图,每张图片首先通过Focus结构复制为四份并分别进行切片操作,再将得到的四个切片从深度上做concat,最后对得到的新图片进行卷积操作,生成下采样特征图并传入YOLOv5的Backbone;
步骤113:首先在Backbone中通过一系列卷积核数不同的卷积层、CSPNet结构以及SPP结构进行特征提取,并在卷积核数为192、384和768的卷积层输出三个特征图;接着利用PANet结构对上述三个特征图进行一系列上采样、下采样、卷积以及concat操作,最后输出通道数为162的三个特征图并传递到预测层生成边界框和预测类别;
步骤114:利用步骤111的先验框对网络输出的特征层进行解码;将步骤113得到的输出通道数为162的三个特征图输出分别进行reshape操作,并把其中的(tx,ty,tw,th)四个参数分离出来,根据公式计算出预测框的实际位置:bx=σ(tx)+cx
by=σ(ty)+cy
(bx,by)是预测框的中心坐标,bw,bh分别是预测框的宽度和高度,(tx,ty,tw,th)分别为网络预测的边界框中心偏移量以及宽高缩放比,(cx,cy)为先验框在特征图上的中心坐标,pw,ph分别为先验框在特征图上的宽和高;
步骤115:将每个车辆预测框中的最大预测概率乘以置信度得到每个预测框的分数;
车辆预测框:
(bx,by,bw,bh,confidence,{Pr(Classi|Object)|i=1、2...n})IOU计算公式为:
置信度的计算公式为:
预测框分数计算公式为:
confidence为车辆预测框的置信度;Pr(Object)表示是否有车辆落在一个grid cell里; 表示预测框和真实框之间的交并比IOU;Pr(Classi|Object)为预测框内车辆为第i类的概率;n表示有n个预测类别;score表示车辆预测框的得分;
步骤116:对得到的分数进行筛选与排序,将得分大于0.5的框作为预选框;采用非极大抑制,在同一个类别中选择一个最高分数的框,计算它和其他框的重合度,去除IOU超过0.7的框,重复该步骤直到没有比当前预选框的IOU值0.7高的框,则将其作为最终结果;
步骤117:定义损失函数并训练车辆监测模型;损失函数定义为分类损失、定位损失和置信度损失之和:以上公式中N表示类别总个数,xi为当前类别预测值,yi为经过激活函数后得到的当前2
类别的概率, 则为当前类别的真实值,为0或1,B表示预测框,Bgt表示真实框,ρ(B,Bgt)为2
真实框和预测框中心点距离的平方,c 为闭包真实框和预测框最小框的对角线的平方,gt为预测框和真实框长宽比例差值的归一化,其中w 为真实框的gt
宽,h 为真实框的高,w为预测框的宽,h为预测框的高,α为权衡长宽比例造成的损失和IOU部分造成的损失的平衡因子,tn代表目标,即真实值,xn是车辆监测模型输出的值;
通过分析损失函数随着迭代次数的变化,判断其收敛性以评估训练得到的车辆监测模型;
步骤12:将监测到的车辆对象作为输入使用DeepSORT算法训练车辆跟踪模型;
步骤121:首先利用第一帧的各车辆监测框创建对应的tracker并设定其轨迹状态为非确定态完成初始化,然后使用卡尔曼滤波预测目标车辆在下一帧的位置:xk=Axk‑1
T
pk=Apk‑1A+Q
xk‑1为目标的状态信息即 其中(u,v)是bounding box的中心坐标,γ是长宽比,h表示高度,其余四个变量 分别表示在图像坐标系中u、v、γ、h的速度变化值;pk‑1为目标的估计误差,A为状态转移矩阵,Q为系统误差;
步骤122:使用匈牙利算法将步骤121得到的预测框和下一帧中的车辆监测框进行级联匹配和IOU匹配,利用匹配成功的轨迹信息对卡尔曼滤波中所有tracker的状态进行更新;
步骤123:根据步骤122得到的IOU匹配结果经由1‑IOU计算代价矩阵,然后以此作为匈牙利算法的输入得到线性匹配结果;匹配成功则更新卡尔曼滤波的运动变量;车辆跟踪轨迹匹配失败但曾为确认态则失配大于30次后删除其ID和轨迹信息,否则直接删除;车辆观测量匹配失败则重新创建tracker;
步骤124:重复步骤122直至交通视频中的所有帧均比较完即结束;
步骤2:将训练好的车辆跟踪模型移植到边缘服务器上,通过架设在道路交通杆上的高分辨率摄像机收集交通视频数据并实时上传至边缘服务器;
步骤3:分布式边缘服务器使用已训练好的车辆跟踪模型对交通视频中的车辆进行追踪;
步骤4:在边缘服务器上运用ViBe背景建模算法,完成交通流数据及拥堵程度指数的计算并上传云中心;
步骤5:将交通信息及拥堵程度在屏幕中展示。
2.根据权利要求1所述的一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,所述步骤2具体包括:步骤21:将训练好的车辆跟踪计数模型移植到边缘服务器上,在道路的交通杆上架设高分辨率摄像机,拍摄分辨率为608×608;
步骤22:摄像机将拍摄所得的视频通过socket上传至边缘服务器,并以二进制的形式存入边缘服务器的非易失存储器中。
3.根据权利要求2所述的一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,所述步骤3具体包括:步骤31:对车辆跟踪模型的计数速度进行监测,判断其是否达到实时;
步骤32:设置虚拟监测线圈,将其与DeepSORT输出的跟踪图相融合,便于后续获取期望的交通指标。
4.根据权利要求3所述的一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,所述步骤32中根据车道数量,确定虚拟线圈的数量,每个车道加入一个虚拟线圈,如有三个车道,则需要三个虚拟线圈,共计有6条与车道垂直的虚拟直线;虚拟线圈的宽度,即两条虚拟直线间的距离为输入帧宽度的1/5。
5.根据权利要求4所述的一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,所述步骤32中使用OpenCV中的add函数,将虚拟直线与DeepSORT输出的跟踪图相融合。
6.根据权利要求5所述的一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,步骤4中所述交通流数据包括车流量、实时速度、车辆占有和排队长度。
7.根据权利要求6所述的一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,步骤4中车流量的具体计算包括:分析行驶轨迹的完整性,当w1≤u≤w2时匹配得到当前车道虚拟线圈的坐标,若v≥h2时车辆离开虚拟线圈的车道位置,计数车辆通过该位置的总次数即为车流量f,式中,(w1,h1)为虚拟线圈左上角的坐标,(w2,h2)为虚拟线圈右下角的坐标;车辆监测框的中心坐标(u,v)。
8.根据权利要求6所述的一种基于深度学习和边缘计算的交通流信息监测方法,其特征在于,步骤4中实时速度的具体计算包括:分析行驶轨迹,假设行驶轨迹是直线行驶,在摄像机标定的基础上,计算车辆进入虚拟线圈的起点和离开虚拟线圈的终点之间的实际距离,再根据脉冲数据计算视频序列的时长tout‑tin,即可得到实时速度 式中,tin为车辆监测框中心点进入虚拟线圈的时刻,tout为离开虚拟线圈的时刻;h为虚拟线圈宽度。