1.一种基于多任务神经网络的汽车可行驶区域规划方法,其特征在于,包括以下步骤:
步骤1,构建具有语义分割与目标检测两种功能的轻量级多任务神经网络,包括:基于硬参数共享机制构建轻量级多任务神经网络任务共享层;构建多尺度目标检测特定层;基于金字塔池化模型构建语义分割特定层;
步骤2,根据轻量级多任务神经网络输出格式,制作训练集;
步骤3,构建多任务神经网络损失函数数学模型;
步骤4,将多任务神经网络应用于汽车可行驶区域规划中,将多任务神经网络模型部署至车载嵌入式平台中,在嵌入式平台中运行模型检测汽车前方车辆、行人,并分割车道,将检测到的信息发送至嵌入式平台控制中心,多任务神经网络模型分割车道,会将当前汽车所在车道和汽车旁边虚线分割车道检测出来,在图片中会用不同颜色显示,有颜色显示的区域都是可行驶区域,颜色是人为设定的,利用实验者和驾驶者观察,实际中这些有颜色显示的区域在计算机中的像素值都是像素值为1或2;
所述步骤3构建多任务神经网络损失函数数学模型,具体包括以下子步骤:
步骤3.1:确定目标检测任务特定层与语义分割任务特定层损失函数,然后在每个特定层计算损失值的过程中对损失值进行归一化处理;
步骤3.2:使用动态损失权重对两个特定层网络的损失值线性加权求和,公式如1所示:
FM=W1·F1+W2·F2 (1)
其中FM是多任务神经网络的损失值,F1,W1分别是目标检测特定层网络的损失值与权重系数,F2,W2分别是语义分割特定层网络的损失值与权重系数,W1,W2根据两种网络的损失值进行动态计算,计算公式如(2)、(3)所示:其中|ΔF1|为目标检测特定层网络的当前次epoch的损失值与上一次epoch的损失值差的绝对值,|ΔF2|为语义分割特定层网络的当前次epoch的损失值与上一次epoch的损失值差的绝对值。
2.根据权利要求1所述的一种基于多任务神经网络的汽车可行驶区域规划方法,其特征在于,所述步骤1构建具有语义分割与目标检测两种功能的轻量级多任务神经网络,具体包括以下子步骤:步骤1.1:基于硬参数共享机制构建轻量级多任务神经网络任务共享层,硬参数共享机制:网络中多个任务分支共享一个主干网络,即一个主干网络提取的图像特征传给多个任务分支;软参数共享机制:每个任务分支使用一个主干网络,然后使用算法将各个主干网络关联起来,该任务共享层结合DenseNet密集连接结构与跨级局部网络CSPNet的CSP残差结构:网络输入的是相机拍摄的一帧帧图片,图片中包含各种东西,所述轻量级多任务神经网络的功能就是检测相机拍摄图片中的车辆,行人,任务共享层每次下采样,特征图尺寸就会下降一半,经过多次下采样,特征图的尺寸也会有多次下降一半,这些特征图叠在一起看起来就像一个金字塔;
步骤1.2:基于FPN特征金字塔网络方法,构建多尺度目标检测特定层;
步骤1.3:基于金字塔池化模型构建语义分割特定层,并使用双线性插值法对特征图进行上采样,使采样后的尺寸与网络输入尺寸相同。
3.根据权利要求2所述的一种基于多任务神经网络的汽车可行驶区域规划方法,其特征在于,所述任务共享层共分为7层,从上到下分别是CBL层、CBL层、CSP层、CSP层、DCB、CSP层、CBL层,其中CBL层包括卷积层‑批量归一化层‑激活函数层;CSP层是一个残差结构,在ResNet的残差块外部再连接一条大的残差边,DCB层是DenseNet网络中的密集连接结构。
4.根据权利要求1所述的一种基于多任务神经网络的汽车可行驶区域规划方法,其特征在于,所述步骤2根据轻量级多任务神经网络输出格式,制作训练集,具体包括以下子步骤:步骤2.1:根据多任务神经网络输出,将训练集标签分为两类:用于目标检测的VOC格式标签,用于语义分割的掩码格式标签;
步骤2.2:使用LabelImg与Labelme工具分别对同一张图片进行标注,然后生成.xml文件与单通道的.png灰度图,在灰度图中,不可行驶区域像素值为0,当前车道像素值为1,旁边可行驶车道像素值为2,使用K‑means聚类算法,对所有的数据集中车辆,行人预设目标尺寸进行聚类,生成5种尺寸的矩形框,按降序排列,其中前3种尺寸的矩形框作为目标检测特定层输出尺寸为13×13的特征图的默认框;其中后3种尺寸的矩形框作为目标检测特定层输出尺寸为26×26的特征图的默认框;目标检测特定层最后使用逻辑回归,从3个默认框中寻找置信度最高的那个,它就是输出最接近真实目标的默认框边界。
5.根据权利要求1所述的一种基于多任务神经网络的汽车可行驶区域规划方法,其特征在于,所述步骤4将多任务神经网络应用于汽车可行驶区域规划中,具体包括以下子步骤:步骤4.1:利用提出的损失函数数学模型来进行反向传播,使网络参数达到最优;
步骤4.2:图像处理包含:1.将图片尺寸使用最邻近插值法放大或缩小为网络输入尺寸;网络输入尺寸为416x416,就需要将图片尺寸放大或缩小为416x416;2.将放大或缩小的图片进行归一化处理,即图片像素值统一除以255,使图片像素值从0‑255变为0‑1,处理后视频帧送入多任务神经网络中,经过网络的前向推理,目标检测分支与语义分割分支分别输出对应的结果;
步骤4.3:在后处理程序中,将两个分支的输出结果进行融合,用来使用OpenCV将目标检测分支得到的结果绘制在原图中,结果包含每个目标的类别、得分及坐标,然后再将语义分割分支结果绘制在原图中,即两个分支得到的结果绘制在同一张图片上,规划可行驶区域以及防碰撞预警。