欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022107916263
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-04-29
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种服务于特种车辆的车路协同多目标检测方法,其特征在于,包括以下步骤:S1、获取路侧视角下交通道路图像信息;

S2、构建部署在路侧边缘计算平台的轻量化车路协同多目标检测模型;轻量化车路协同多目标检测模型以单阶段算法YOLOv4为基础,包括:网络骨干部分、网络颈部和网络头部;所述网络骨干部分采用改进的MobileNetV3的特征提取网络;所述改进的MobileNetV3的特征提取网络包括起始的1个2维卷积层、中间的若干个由改进的倒残差结构构成的不同尺度的卷积层和最后的1个2维卷积层;所述改进的倒残差结构中采用通道域注意力机制和坐标注意力机制;所述通道域注意力机制和坐标注意力机制中的卷积运算为逐通道过参数卷积DO‑Conv;所述轻量化车路协同多目标检测模型以路侧视角下交通道路图像信息为输入,输出可视化车路协同目标检测结果;

所述逐通道过参数卷积DO‑Conv由一个可训练的逐通道卷积核 和一个可训练的常规卷积核 组成,其中Dmul≥M×N;对于给定的三维输入张量逐通道过参数卷积操作运算符⊙所输出的张量与常规卷积相同,是为Cout维的特征张量所述逐通道过参数卷积的运算采用两种等价的数学表达方式进行描述,如下公式表示:上式中, 表示 在第一与第二轴的转置后的三维张

量;

所述模型的训练,包括:在配置文件中,对神经网络深度学习训练各项超参数进行设置,采用改进的随机梯度下降方法对网络可训练参数进行更新;所述改进的随机梯度下降方法包括:在原有参数更新公式中,加入与上一时刻学习步长相关的系数λ,使得参数更新的方向与距离不仅由当前求解的梯度方向与模长决定,同时与此前所积累的更新方向与速率有关;参数更新过程的公式为:n+1 n n

ω =ω‑ηv

n

上式中,v表示当前时刻的可训练参数的更新方向与距离,其取决于上一时刻的更新方向、距离和当前时刻梯度方向与模长;系数λ取值为0.9;

S3、将获取的路侧视角下交通道路图像信息作为原始图像,输入到构建的轻量化车路协同多目标检测模型中,并对轻量化车路协同多目标检测模型进行优化训练,基于坐标注意力机制增强神经网络对空间信息的长程依赖性,以获得网络自主对有车辆目标道路位置的持续关注能力。

2.根据权利要求1所述的服务于特种车辆的车路协同多目标检测方法,其特征在于,所述步骤S1中,获取路侧视角下交通道路图像信息,具体包括:S11、采用工业相机采集涵盖整体道路区域的路侧视角下交通道路图像信息;

S12、将采集的视频信息推送至轻量化检测网络模型输入端,网络输出检测可视化结果,编写脚本对视频数据进行收流,通过具有Python接口的计算机视觉软件包OpenCV,读取与计算平台连接的多模态传感器获取视频信息。

3.根据权利要求1所述的服务于特种车辆的车路协同多目标检测方法,其特征在于,所述步骤S2中,构建部署在路侧边缘计算平台的轻量化检测网络模型DCM3‑YOLOv4,具体包括:S21、采用轻量化单阶段多目标检测模型以单阶段算法YOLOv4为基础,结合MobileNet系列网络轻量化的特点,采用MobileNetV3的特征提取网络替换CSPDarknet53作为所述轻量化检测网络模型的骨干网络,完成对图像进行卷积并提取车辆目标特征信息的任务;

S22、在完成特征提取任务后,基础检测网络M3‑YOLOv4在特征图输出部分采用原网络中空间金字塔池化Spatial Pyramid Pooling,SPP与路径聚合网络Path Aggregation Network,PANet对网络不同深度特征信息进行处理;

S23、采用空间金字塔池化在MobileNet网络的最后一个特征层进行三次由卷积、批标准化和采用Leaky ReLU函数激活构成的运算单元后,分别利用四个不同尺度的最大池化进行处理;

S24、采用路径聚合网络对特征进行反复提取,沟通不同深度特征层信息;

S25、基础检测网络M3‑YOLOv4通过试验选取出合适特征层,并通过PANet进行特征融合;融合后,通过YOLO系列检测头完成对待检测目标信息的回归,对输出信息进行解码,完成路侧视觉感知任务。

4.根据权利要求3所述的服务于特种车辆的车路协同多目标检测方法,其特征在于,所述基础检测网络M3‑YOLOv4采用坐标注意力机制Coordinate Attention,CA思想,具体分为两个步骤:步骤一、将单通道中全局池化操作分解为一对一维特征编码,完成坐标信息嵌入;

步骤二、对原输入特征张量X进行通道乘算,完成坐标注意力生成。

5.根据权利要求4所述的服务于特种车辆的车路协同多目标检测方法,其特征在于,所述步骤一和步骤二,具体包括:对给定的输入特征张量X,使用尺寸为(H,1)和(1,W)的池化核沿着水平坐标方向和垂直坐标方向分别对每个通道进行编码;

高度为h的第c通道的输出 用公式表述如下:

上式中,xc(h,i)为第c通道(h,i)处输入特征张量X的值;

宽度为w的第c通道的输出 用公式表述如下:

上式中,xc(j,w)为第c通道(j,w)处输入特征张量X的值。

6.根据权利要求1所述的服务于特种车辆的车路协同多目标检测方法,其特征在于,所述步骤S3中,对轻量化检测网络模型进行优化训练,网络训练总损失包括置信度损失Lconf(o,c)、类别损失Lcls(O,C)与定位损失Lloc(l,g),其中:所述网络训练总损失的函数采用下式表示:

L(o,c,O,C,l,g)=λ1Lconf(o,c)+λ2Lcls(O,C)+λ3Lloc(l,g)上式中,λ1,λ2,λ3为平衡系数;

所述置信度损失采用二值交叉熵损失构建损失函数,构建的损失函数采用下式表达:上式中,oi∈[0,1]表示预测目标包围框与真值包围框的交并比,ci表示预测值,表示依据预测值ci计算得出的预测置信度,N表示正负样本个数;

所述类别损失采用二值交叉熵损失构建损失函数,构建的损失函数采用下式表达:上式中,Oij∈{0,1}表示预测包围框i中是否存在j类目标,是则取1,否则取0;Cij为网络预测值,通过sigmoid函数激活得到 表示为j类概率,Npos为正样本个数;

所述定位损失将真值包围框信息进行转换,生成损失函数,损失函数采用下式表达:上式中,真值包围框信息 通过上式转换为 与训练参数 统一形式,通过欧氏距离公式完成损失生成。

7.一种基于权利要求1‑6中任意一项权利要求所述服务于特种车辆的车路协同多目标检测方法的服务于特种车辆的车路协同多目标检测系统,其特征在于,包括:信息获取单元,用于获取路侧视角下交通道路图像信息;

轻量化检测网络模型构建单元,用于构建部署在路侧边缘计算平台的轻量化检测网络模型DCM3‑YOLOv4;

模型训练单元,用于将获取的路侧视角下交通道路图像信息作为原始图像,输入到构建的轻量化检测网络模型中,并对轻量化检测网络模型进行优化训练,基于坐标注意力机制增强神经网络对空间信息的长程依赖性,以获得网络自主对有车辆目标道路位置的持续关注能力。

8.根据权利要求7所述的服务于特种车辆的车路协同多目标检测系统,其特征在于,所述信息获取单元包括高清彩色工业相机和实验室路侧信息采集单元;其中:实验室路侧信息采集单元为搭载的多模态传感器,包括视觉传感器、毫米波雷达、激光雷达,并能够实现采集高度与相机拍摄角度的自由调节。

9.根据权利要求7所述的服务于特种车辆的车路协同多目标检测系统,其特征在于,所述轻量化检测网络模型构建单元构建了适应路侧视角下特点的轻量化单阶段多目标检测模型,具体为:结合路侧视角空间信息不变性的特点,针对性提出基于深度学习目标检测模型的优化手段,包括基于坐标注意力机制增强神经网络对空间信息的长程依赖性和采用逐通道过参数卷积方式对注意力机制中原有的传统卷积运算进行优化,结合两种优化手段构建了优化网络DCM3‑YOLOv4。