欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023110435935
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于三维信息融合相机和毫米波雷达的目标检测方法,其特征在于,包括以下步骤:步骤一、数据采集和预处理:首先采集相机和毫米波雷达所获取的原始数据信息,对数据进行预处理,进行数据时间同步;然后将预处理后的数据分别输入到相机检测分支和毫米波雷达检测分支中;

步骤二、数据处理和车辆检测:在相机检测分支中,图像在输入网络之前进行像素和尺寸处理;相机检测分支进行车辆检测和深度估计,根据车辆检测结果,在深度视差图中提取视差,得到被检测车辆的三维信息;在毫米波雷达检测分支中,通过速度滤波滤除无效点云数据信息,在四维层面利用聚类算法,实现对车辆的检测和区分;

步骤三、统一坐标系:将毫米波雷达的数据信息通过坐标变换,与图像数据信息处在同一坐标系下;

步骤四、构建注意力机制融合神经网络模型AFnet:将相机检测分支和毫米波雷达检测分支的结果传入AFnet模型,进行融合匹配,得到最终的检测结果;

所述步骤四中,基于Transformer中的Encoder模块,利用多层感知机MLP,构建出AFnet模型,AFnet模型的输入是由多个序列组成的二维矩阵构成,将数据信息转换成自然语言序列进行处理,其中前五列数据(X1,Y1,X2,Y2,Z)是相机检测出的边界框左上角(X1,Y1)坐标、右下角(X2,Y2)坐标和深度信息Z,后三列数据(X3,Y3,Z3)是毫米波雷达检测出的物体中心点三维空间坐标,同一时刻下,相机检测分支和毫米波雷达检测分支所检测出的物体数量分别为a和b,则AFnet神经网络一共输入n=a*b条序列;

在AFnet模型中,一共使用了4个Encoder,将特征信息编码为n*8的矩阵表示,将n*8的矩阵输入MLP中的FC1全连接层,通过ReLu激活函数与FC2全连接层进行非线性连接,最后通过Sgimoid函数,利用公式,计算得到每个序列的匹配概率值,公式如下:;

其中x是上一隐藏层输出的值,e是自然常数。

2.根据权利要求1所述的基于三维信息融合相机和毫米波雷达的目标检测方法,其特征在于,所述毫米波雷达采集的原始数据是物体的方位角、高度角、距离相对速度,根据车辆的速度计算出物体的绝对速度,并将极坐标转换成笛卡尔坐标系,公式如下:;

;

;

;

以毫米波雷达作为基准,对相机进行数据时间同步。

3.根据权利要求1所述的基于三维信息融合相机和毫米波雷达的目标检测方法,其特征在于,在所述相机检测分支中,将左相机的RGB图像输入到物体检测算法中,同时将左右相机的RGB图像输入到深度估计算法中,深度估计算法采用双目立体匹配,具体操作为:对于图像中的任意一点,利用双目立体匹配获得左右图像中对应特征点和,然后计算左右图像中对应特征点的视差d,获得视差d后,根据公式计算得到点的深度信息,公式如下:;

其中f是相机焦距,B是基线长度,即左右两个相机之间的距离。

4.根据权利要求1所述的基于三维信息融合相机和毫米波雷达的目标检测方法,其特征在于,在所述毫米波雷达检测分支中,经过聚类后,映射出每辆车的边界框,按照常规车辆的主视图大小尺寸,根据所获得车辆的深度信息进行映射,利用公式获得毫米波雷达检测出车辆在图像上的边界框信息,公式如下:;

其中f为映射所在图像的相机焦距。

5.根据权利要求1所述的基于三维信息融合相机和毫米波雷达的目标检测方法,其特征在于,所述步骤三的具体操作为:将毫米波雷达点云数据信息坐标变换到左相机的图像坐标系中;

首先将毫米波雷达的任一点云数据变换到世界坐标系下,公式如下:;

其中是由毫米波雷达坐标系到世界坐标系的旋转矩阵,是由毫米波雷达坐标系到世界坐标系的平移矩阵;

再将世界坐标系下的点云变换到相机坐标系下的,公式如下:;

其中是由相机坐标系到世界坐标系的旋转矩阵,是由相机坐标系到世界坐标系的平移矩阵;

最后,将点云在相机坐标系下的变换到图像坐标系下的,公式如下:;

其中K是相机的内参矩阵;

联立公式,得到综合表达转换公式,将毫米波雷达下的任一点云变换到图像坐标系下,综合表达转换公式表示为:;

其中是相机和毫米波雷达之间的平移矩阵。

6.根据权利要求1所述的基于三维信息融合相机和毫米波雷达的目标检测方法,其特征在于,采用二分类交叉熵作为损失函数对所述AFnet模型进行训练,定义如下:;

其中是AFnet模型预测为同一辆车的概率,y是输入数据中序列的标签,若相机和毫米波雷达的检测结果组成的序列是同一辆车,取值为1,否则取值为0;

对于AFnet模型预测出来的结果,若概率值大于0.5,则认为该序列中两个传感器检测出的车辆是同一车辆,反之则不是。