欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104465248
申请人: 电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-07-22
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于单目视觉和雷达伪图像融合的三维目标检测方法,其特征在于,包括以下步骤:从毫米波雷达处获取初始毫米波雷达点云数据;同时,从光学相机处获取单目视觉图像;

对初始毫米波雷达点云数据进行预处理操作得到雷达点云数据;同时,对单目视觉图像进行语义分割获取图像语义分割结果;图像语义分割结果包括目标的二维边框、像素级分割的掩码和每个像素的分类得分;

基于雷达点云数据和图像语义分割结果生成语义雷达伪图像;

将单目视觉图像和语义雷达伪图像进行特征提取与融合得到融合特征图;

将融合特征图输入到检测网络中得到三维目标信息;

其中,对初始毫米波雷达点云数据的预处理主要包括数据解析、空间同步、目标关联和雷达伪图像生成;

数据解析获取雷达点云在空间中的三维坐标信息[x,y,z]以及目标相对毫米波雷达的径向运动速度在x与y方向的速度分量[vx,vy],然后将毫米波雷达点云数据中的每个点表示为[x,y,z,vx,vy];

以世界坐标系作为参照坐标系,分别获得光学相机和毫米波雷达的外参系数;使用张正友标定法获取光学相机的内参系数;通过外参系数和内参系数的联合标定对毫米波雷达和光学相机进行配准实现毫米波雷达和光学相机的空间同步;

将雷达点云坐标从毫米波雷达坐标系转换到相机坐标系并投影到图像平面上,再利用语义分割得到的掩码对已经投影到图像平面的雷达点云进行过滤,将投影到图像平面的雷达点云与掩码进行按位与操作,再保留下的非0的点云信息与单目视觉图像通过图像语义分割确定的目标进行匹配,从而完成关联;

最后将雷达点云所在位置的像素点分类得分附加到雷达点云上以获得语义雷达点云数据,此时雷达点云的每个点表示为[x,y,d,vx,vy,s],其中,x,y为雷达点云在空间中的三维位置信息中的x与y方向的值,vx,vy表示目标相对毫米波雷达的径向运动速度在x与y方向的速度分量,即纵向速度vx、横向速度vy,d代表相机坐标系下目标的深度,s为该像素点的分类得分。

2.根据权利要求1所述方法,其特征在于,图像语义分割得到的像素级分割的掩码再通过GrabCut算法来去除掩码中多余的背景信息,最后将[0,1]掩码转换为[0,255]掩码。

3.根据权利要求1所述方法,其特征在于,基于雷达点云数据和图像语义分割结果生成语义雷达伪图像的具体步骤为:先通过直通滤波删除深度超过最远探测距离以及小于预设过近阈值的雷达点云,再对按照距离从小到大对雷达点云进行排序,将每个雷达点云中的纵向速度vx、横向速度vy和深度d分别转换三个通道的像素值与视觉图像尺寸相同的三通道雷达伪图像;再在三通道雷达伪图像的基础上添加与分类类型数量一致的通道形成语义雷达伪图像,其中每个添加的通道包含了雷达点云对应像素点在该分类类型上的分类得分。

4.根据权利要求3所述方法,其特征在于,添加与分类类型数量一致的通道的具体方法为:在直通滤波后的雷达点云中以其所在位置为中心绘制矩形框,在每个矩形框范围内填充该雷达点云的信息,矩形框范围内的像素值与矩形边界的值相同,矩形框范围外像素值均填充为0,当矩形框出现重叠时,提取深度更小的雷达点云作为该位置的像素值,最后在矩形框范围内填充对应雷达雷达点云携带的像素点分类得分。

5.根据权利要求3所述方法,其特征在于,将每个雷达点云中的纵向速度vx、横向速度vy和深度d分别转换三个通道的像素值的方法为:fc=αc·xc+βc

其中c的取值为纵向速度vx、横向速度vy或深度d,fc代表相机坐标系下纵向速度vx、横向速度vy或深度d经转换后在雷达三通道图像中像素值fvx,fvy,fd,αc为归一化化因子,βc为修正值。

6.根据权利要求5所述方法,其特征在于,βc为127,计算fvx,fvy,fd所对应的归一化化因子αc分别为:

7.根据权利要求3所述方法,其特征在于,最远探测距离为30米,过近阈值为0.5米。