欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202411804069X
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种适用于无人车的激光雷达点云实时三维目标检测方法,其特征在于,包括如下步骤:

S1、目标检测数据集准备:当目标检测模型未完成训练时,利用自动驾驶目标检测数据集作为目标检测模型的训练、验证及测试集,目标类别包括汽车、行人、骑行者和其他类别;对训练集进行数据增强,包括将从训练集内其他帧中随机选取的各类目标物体的点云数据拼接到当前帧,以及对目标物体的点云在水平面内进行随机翻转和缩放;

S2、模型训练:训练端到端的目标检测模型,该目标检测模型包括以下模块:

(1)预处理模块:对目标检测数据集中的点云数据进行预处理;

(2)主干网络模块:与预处理模块连接,对预处理后的数据进行特征提取;

(3)颈部网络模块:与主干网络模块连接,对多尺度特征图进行融合与增强处理;

(4)特征选择模块:与颈部网络模块连接,根据目标的尺寸选择对应尺度的特征图;

(5)检测头模块:与特征选择模块连接,根据特征选择后的特征图预测目标的类别和边界框;

S3、参数更新:通过计算损失函数的梯度来调整模型的权重和偏置参数;采用Adam优化算法,初始学习率设置为0.001,并在训练过程中逐步衰减;每轮更新基于反向传播算法获取梯度信息,并结合L2正则化抑制过拟合;

S4、仿真数据准备:在仿真平台中搭建包含道路、车辆、行人、骑行者和其他物体的虚拟环境;配置激光雷达传感器,设定与目标检测数据集一致的扫描角度、分辨率;使搭载激光雷达的虚拟车辆在场景中移动,采集激光雷达传输的点云数据;仿真平台自动生成标注信息,所述标注信息包括目标物体的三维边界框中心点坐标、三维边界框尺寸、航向角、类别;对采集的点云数据进行预处理,包括加入适当的噪声和模拟缺失数据;将预处理后的点云数据和标注转换为与目标检测数据集一致的格式,并对文件进行时间戳对齐和路径规范化,确保支持目标检测模型直接使用;

S5、基于仿真数据的模型推理与结果评估:将步骤S3中训练完成、参数更新后的目标检测模型部署在仿真测试环境中,目标检测模型以步骤S4生成的仿真数据作为输入,通过模型推理生成目标检测结果,包括目标物体的三维边界框中心点坐标、三维边界框尺寸、航向角、类别和检测分数;结果评估采用一系列关键指标,包括平均精度、误报率、召回率、F1分数;根据所述指标是否高于设定的阈值来判断模型表现是否符合预期效果,如符合预期效果,则进入下一步骤,否则返回至步骤S1,并对目标检测数据集进行进一步增强处理,包括对导致仿真效果不佳的特定场景数据进行扩充;

S6、模型部署与实车数据准备:将步骤S5中训练完成、符合预期效果的目标检测模型部署在装有激光雷达的无人车上,当无人车处于驾驶模式时,将从无人车上搭载的激光雷达所采集到的点云数据实时转换为与目标检测数据集格式一致的点云数据;对点云数据进行预处理,包括加入噪声、缺失值填补、时间对齐和坐标转换;通过特征选择和格式转换,将数据标准化为目标检测数据集的结构,对异常值进行筛查与剔除;处理完成的点云数据按目标检测数据集格式存储,确保支持目标检测模型直接使用;

S7、基于实车数据的模型推理和数据保存:将步骤S6所获取的处理后的点云数据实时逐帧输入给部署在无人车上的目标检测模型,通过模型推理生成目标检测结果,包括目标物体的三维边界框中心点坐标、三维边界框尺寸、航向角、类别和检测分数;将三维边界框投影至同一时刻摄像头所采集的二维图像中,在屏幕上进行可视化显示;将点云数据、目标检测结果和用户对目标检测结果的反馈信息(包括目标漏检、误检)进行保存;

S8、数据上传与标注:人工设定数据上传周期,每周期向云端上传一次数据;当无人车未处于驾驶模式时,如果未到达数据上传周期,则返回执行步骤S6、S7;如果已到达数据上传周期,则将步骤S7所保存的点云数据、目标检测结果和用户对结果的反馈信息上传至云端,并根据数据质量、数据相关性、数据多样性对其进行筛选处理;使用自动化标注工具,设定检测置信度阈值,结合高于检测置信度阈值的目标检测结果对所有目标进行边界框和类别标注,生成增量数据集;

S9、增量学习与参数更新:使用步骤S8所生成的增量数据集对目标检测模型进行参数微调,使用正则化约束避免新知识覆盖旧知识;将参数更新后的目标检测模型推送回无人车端;返回步骤S6,重复执行S6~S9以不断更新优化目标检测模型。

2.根据权利要求1所述的适用于无人车的激光雷达点云实时三维目标检测方法,其特征在于,步骤S2中所述的预处理模块,界定感兴趣的水平区域范围为[-60,60]×[0,80]米,并根据激光雷达传感器的工作范围选择固定高度范围过滤掉地面点云及高空点云;对点云数据进行去噪和滤波处理;采用0.1米的分辨率将去噪和滤波处理后的点云从三维空间投影到鸟瞰图平面,生成相同尺寸的高度图、强度图、密度图、曲率图的二维图像表达;其中,高度图表示为:其中z为激光点的高度,Pi,j为投影在鸟瞰图坐标(i,j)所在像素网格内的所有激光点的集合,Hi,j表示所述集合内所有激光点的最大高度;强度图表示为:其中r为激光点的强度,Ni,j为投影在鸟瞰图坐标(i,j)所在像素网格内的激光点的数量,Ii,j表示网格内所有激光点的平均强度;密度图表示为:曲率图表示为:

其中Xi,j为投影在鸟瞰图坐标(i,j)所在像素网格内强度最大的激光点的三维坐标,表示以该激光点为中心的邻域样本点集合,其中样本点数为n,Xk为邻域激光点三维坐标;将高度图、强度图、密度图和曲率图在深度维度上进行堆叠,生成4个通道的三维鸟瞰图。

3.根据权利要求1所述的适用于无人车的激光雷达点云实时三维目标检测方法,其特征在于,步骤S2中所述的主干网络模块,采用一种双分支深度卷积神经网络结构,包括图像处理分支和点云处理分支;其中,图像处理分支以所述预处理模块所生成的三维鸟瞰图作为输入,使用ResNet-50作为特征编码器;采用一种二维距离感知焦点稀疏卷积模块代替ResNet-50的第一阶段;ResNet-50的第二~五阶段分别生成4个分辨率依次降低为前一阶段1/2的多尺度特征图点云处理分支采用PointNet++的主干网络作为特征提取网络,以去噪和滤波后的点云数据作为输入;所述点云处理分支包含l个SA层,每个SA层通过最远点采样和邻域聚合操作提取局部特征和全局特征将每层全局特征再次聚合得到最终的全局特征将FSA与图像处理分支所提取的特征通过逐元素相加进行融合,得到融合特征Ffu;同时,利用特征传播(l个FP层)逐层恢复全局特征的空间分辨率直到原始的点云分辨率;l表示层数,在整个过程中l取值为4。

4.根据权利要求1所述的适用于无人车的激光雷达点云实时三维目标检测方法,其特征在于,步骤S2中所述的颈部网络模块,采用特征金字塔结构,基于权利要求2中所述的ResNet-50的第二~四阶段生成的特征图融合特征Ffu以及PointNet++的每个FP层提取的各个分辨率的特征图进行特征融合和增强;其中,特征图和Ffu通过特征金字塔网络的自上而下网络,采用插值方式逐层上采样高层特征图,并与当前层特征图通过逐元素相加进行融合,生成金字塔特征将多尺度金字塔特征与FP层提取的各个分辨率的特征图对应进行逐元素相加的特征融合,得到最终的金字塔各层级特征l表示层数,在整个过程中l取值为4。

5.根据权利要求1所述的适用于无人车的激光雷达点云实时三维目标检测方法,其特征在于,步骤S2中所述的特征选择模块,将颈部网络模块所生成的多尺度特征图通过插值的方法均调整为最大特征图的尺寸,得到尺寸一致的特征映射通过softmax操作生成软权重;通过线性加权求和得到最终的输出特征;具体公式为:其中,l表示层数,取值为4。

6.根据权利要求1所述的适用于无人车的激光雷达点云实时三维目标检测方法,其特征在于,步骤S2中所述的检测头模块,包含两个子头:中心点热力图头和回归检测头;其中,中心点热力图头预测热力图,预测鸟瞰图每个像素位置为某一类别目标的中心点的概率;回归检测头预测目标物体的中心点偏移量、尺寸、方向角;

总损失函数由热力图损失和边界框回归损失组成,表示为:

Ltotal=α·Lheatmap+β·Lbbox

其中Lheatmap表示热力图损失,比较预测的热力图和真实热力图,采用高斯焦点损失函数;Lbbox表示边界框回归损失,比较预测与真实的目标物体的中心点偏移量、尺寸和方向角,采用平滑L1损失函数;α和β分别表示热力图损失和边界框回归损失的权重,均设置为1。

7.根据权利要求3所述的主干网络模块,其特征在于,所述的二维距离感知焦点稀疏卷积模块由三部分组成:

(1)对特征重要性进行预测:将三维鸟瞰图转换为由稀疏张量构成的稀疏图像,通过一个子流形稀疏卷积层提取所述稀疏图像的每个非零像素的稀疏特征;使用sigmoid函数对稀疏特征进行重要性分数的预测,分数在0~1之间:Ip=σ((W*X)p)

其中σ(·)表示sigmoid函数,(W*X)p表示通过卷积操作得到的特征图在特征p处的元素值;

(2)对预测的重要性图进行筛选:通过Top-k方法筛选前k个重要性较高的输入特征:

其中Topk(·)表示Top-k方法,Pin为输入特征空间,k占总输入特征的50%;表示经过距离加权后的预测重要性得分,计算如下:其中权重wd(p)选用特征点与自车传感器之间的欧式距离进行计算:

wd(p)=1-exp(-λ‖Xp-Xo‖)

其中Xo表示激光雷达的坐标,Xp表示特征点p的坐标,λ是一个控制归一化敏感度的缩放因子,λ取0.1;

(3)动态输出形状生成:对于(2)中筛选出的重要性较高的特征,通过Top-k算法对周围扩展的特征进行筛选,动态获得不同形状的扩展特征,其中k占总扩展特征的50%;其他不重要的输入特征的输出位置和输入相同,本质上执行正则子流形稀疏卷积。