欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202110547978X
申请人: 燕山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:包括以下步骤:步骤1、在路侧布置传感器模组,包括摄像头、激光雷达、毫米波雷达;

步骤2、采集传感器数据,包括摄像头的图像数据、激光雷达的点云数据、毫米波雷达的点云数据并进行预处理,包括时间同步、噪声滤波、数据解析、数据拼接;

步骤3、将预处理后的传感器数据输入到数据层融合模块进行数据层融合处理,步骤如下:步骤3.1、以图像为基准,限制有效的识别范围;

步骤3.2、将激光雷达点云数据投影到图像的成像平面上,对有效识别范围之外的激光雷达点云进行去除;

步骤3.3、将毫米波雷达点云数据投影到图像的成像平面上,对有效识别范围之外的毫米波雷达点云进行去除;

步骤3.4、根据图像、处理后的激光雷达点云、处理后的毫米波雷达点云构建数据层融合模型并输出数据;构建的数据层融合模型如下式所示:{I(IR,IG,IB),G'L(xL,yL,zL),G'R(xR,yR)}其中,I(IR,IG,IB)为图像像素模型,G'L(xL,yL,zL)为筛选后的激光雷达点云模型,G'R(xR,yR)为筛选后的毫米波雷达点云模型;

步骤4、将数据层融合处理后的图像数据输入到图像语义分割模块,通过预先构建好的深度学习语义分割模型进行语义理解;将数据层融合处理后的激光雷达点云数据输入到激光雷达点云分割模块,通过预先构建好的点云级别的深度学习分割模型进行点云分割;

步骤5、将图像语义分割结果和激光雷达点云分割结果输入到决策层融合模块进行处理,处理步骤如下:步骤5.1、将图像语义分割模块的输出、激光雷达点云分割模块的输出、毫米波雷达点云数据输入到决策层融合模块;

步骤5.2、将激光雷达点云分割模块的输出、毫米波雷达点云数据投影到图像成像空间;

步骤5.3、利用图像语义分割结果构建决策层融合基准数据,基准数据模型如下:HLF(u,v,1)=LabelI(u,v)

式中,HLF(u,v,1)为决策层融合输入数据的基准数据层,LabelI(u,v)为图像标签矩阵;

步骤5.4、利用激光雷达点云分割结果构建决策层融合数据,构建的激光雷达点云融合数据模型如下:HLF(u,v,2)=LabelL(u,v)

式中,HLF(u,v,2)为决策层融合输入数据的激光雷达数据层,LabelL(u,v)为激光雷达标签投影转换成像素坐标系的标签矩阵;

步骤5.5、利用毫米波雷达点云构建决策层融合数据,构建的毫米波雷达点云融合数据模型如下:HLF(u,v,3)=DataR(u,v)

式中,HLF(u,v,3)为决策层融合输入数据的毫米波雷达数据层,DataR(u,v)为毫米波雷达点云投影转换成像素坐标系的标签矩阵;

步骤5.6、对构建的融合数据进行拼接,并建立融合策略进行决策层数据融合,对图像融合数据进行优化,具体策略如下:首先,计算像素点对应所有标签的势函数值,具体如下式所示:式中,Labeli={LabelI(ui+k,vi+k),LabelL(ui+m,vi+m),LabelR(ui,vi)|k,m=‑1,0,1},n取值范围为Labeli中元素的个数,poti(n)为第i个像素点对应第n个标签的势函数值;

然后,找到势函数最小值所对应的标签;

最后,把最小值对应的标签设为像素点优化后的标签,并对下一个像素点进行优化;

步骤5.7、对比图像融合数据优化前后结果差异,如果优化前后差异超过阈值,则对激光雷达融合数据、毫米波雷达融合数据进行调整,并重复步骤5.4、5.5、5.6;如果优化前后差异未超过阈值,则保留优化后图像融合数据、激光雷达融合数据、毫米波雷达融合数据,并构建决策层融合模块输出数据,得到最终的感知结果和路侧感知系统的输出信息。

2.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:步骤1中,摄像头、激光雷达、毫米波雷达布置在交叉路口或存在视野盲区的区域,摄像头布置时应使摄像头的采集范围覆盖整个待识别路段,激光雷达布置时应尽量使更多点云落在待识别路段上,毫米波雷达应覆盖每条单行车道的较远区域。

3.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:步骤3.2中将激光雷达点云数据投影到图像的成像平面上的投影公式如下式所示:其中,(xL,yL,zL)为激光雷达点云的空间坐标,(uL,vL)为激光雷达投影到图像成像平面

3×3

的像素坐标,K∈R 为相机的内部参数矩阵,zc为激光雷达点云相对于激光雷达坐标系的

3×3

空间坐标通过平移和旋转变换后相对于相机空间坐标系的相对坐标的高度,RL∈R 为激

3×1

光雷达空间坐标系和相机空间坐标系的相对角度偏差矩阵,tL∈R 为激光雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵;

对激光雷达点云去除的约束条件如下所示:

其中,uLmin,uLmax,vLmin,vLmax分别为图像像素空间横、纵坐标对激光雷达点云限制的最大、最小范围。

4.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:步骤3.3中将毫米波雷达点云数据投影到图像的成像平面上的投影公式如下式所示:其中,(xR,yR)为毫米波雷达点云的空间坐标,(uR,vR)为毫米波雷达投影到图像成像平

3×3 3×3

面的像素坐标,K∈R 为相机的内部参数矩阵,RR∈R 为毫米波雷达空间坐标系和相机空

3×1

间坐标系的相对角度偏差矩阵,tR∈R 为毫米波雷达空间坐标系和相机空间坐标系的相对位置偏差矩阵;

对毫米波雷达点云去除的约束条件如下所示:

其中,uRmin,uRmax,vRmin,vRmax分别为图像像素空间横、纵坐标对毫米波雷达点云限制的最大、最小范围。

5.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:步骤4中,对图像数据进行语义理解的处理步骤如下:(1)对获得的数据层融合数据进行提取,得到用于图像语义分割的输入数据;

(2)对获得的用于图像语义分割的输入数据进行减均值预处理;

(3)利用构建好的图像语义分割深度学习模型进行前向推导运算,得到与输入图片同尺寸的像素级分割结果;

(4)对得到的分割结果进行形态学运算,得到图像语义分割模块的输出结果;

步骤4中,对激光雷达进行点云分割的处理步骤如下:

(1)对获得的数据层融合数据进行提取,得到用于激光雷达点云分割的输入数据;

(2)对获得激光雷达点云数据进行预处理,去除地面点云,并将非地面点云处理成固定个数;

(3)利用构建好的激光雷达点云分割深度学习模型对预处理后的激光雷达点云数据进行分割;

(4)对分割结果和激光雷达点云输入数据进行处理,得到激光雷达点云分割模块的输出结果。

6.根据权利要求5所述的一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:对图像数据进行语义理解步骤(3)中所述的图像语义分割深度学习模型的构建方法如下:首先,输入预先采集、标注好的训练集;其次,设计图像语义分割深度学习模型的网络结构和损失函数,并利用训练集进行训练;然后,输入预先采集、标注好的测试集进行测试;

最后,在实际场景中部署图像语义分割算法,并依据测试结果和实际部署效果判断是否达到预期效果,如果没有达到,则补充训练集重新训练;

对激光雷达进行点云分割步骤(3)中所述的激光雷达点云分割深度学习模型的构建方法如下:首先,输入预先采集、标注好的训练集;其次,设计激光雷达点云分割深度学习模型的网络结构和损失函数,并利用训练集进行训练;然后,输入预先采集、标注好的测试集进行测试;最后,在实际场景中部署激光雷达点云分割算法,并依据测试结果和实际部署效果判断是否达到预期效果,如果没有达到,则补充训练集重新训练。

7.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:步骤5.3中,图像标签矩阵由下式生成:LabelI(u,v)=max(scoreI(u,v))式中,scoreI(u,v)为图像语义分割深度学习模型产生的打分输出层,max()为最大值函数;

步骤5.4中,激光雷达标签投影转换成像素坐标系的标签矩阵转换过程如下式所示:其中,(uL,vL)为激光雷达点云标签投影后的像素坐标,dist()为两点间欧式距离,(ui,vi)为第i个像素点像素坐标,像素相邻模型采用图像八邻域模型,LabelL(uL,vL)为激光雷达标签的投影矩阵,由下式确定:LabelL(uL,vL)=projL(max(scoreL(xL,yL,zL)))式中,(xL,yL,zL)为激光雷达点云空间坐标,scoreL(xL,yL,zL)为激光雷达点云分割深度学习模型产生的打分输出层,max()为最大值函数,projL()为激光雷达点云投影函数;

步骤5.5中,毫米波雷达点云投影转换成像素坐标系的标签矩阵转换过程如下式所示:其中,(uR,vR)为毫米波雷达点云投影后的像素坐标,dist()为两点间欧式距离,(ui,vi)为第i个像素点像素坐标,像素相邻模型采用图像八邻域模型,毫米波雷达投影公式如下式所示:(uR,vR)=projR(xR,yR)

式中,(xR,yR)为毫米波雷达原始数据,projR()为毫米波雷达点云投影函数。

8.根据权利要求1所述的一种基于深度学习的路侧视角超视距全域融合感知系统,其特征在于:步骤5.7中,图像融合数据差异计算模型如下所示:式中,LabelIi为优化前图像标签中第i个标签对应的集合,Label'Ii为优化后图像标签中第i个标签对应的集合,num为图像标签中标签的数量;

步骤5.7中,对激光雷达融合数据、毫米波雷达融合数据调整的方式为:利用优化后的图像标签对落在同一标签区域内的激光雷达点云、毫米波雷达点云标记为同一类别,并将新的标签替代原来的标签;决策层融合模块输出数据包含标签、位置、尺寸信息,实现感知系统对场景内目标的全域感知。