1.一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,包括以下步骤:
采用长短焦相机采集车辆前方的图像,对车辆前方的环境进行感知,激光雷达感知车辆周围的环境,对多焦距相机和激光雷达联合标定,通过时空同步算法,对图像数据和激光雷达采集的点云数据进行时空同步;
用神经网络分别对长短焦图像语义分割,利用分割结果生成长短焦图像的视锥,将点云分别投影到长短焦相机分割图像形成的视锥,视锥中的点云作为目标点云,求得目标点云的质心,设定阈值,质心深度小于阈值的直接输入点云网络预测目标三维信息,质心深度大于阈值的对点云预处理后预测目标的三维信息;
利用多尺度图像金字塔实现长短焦图像特征点的匹配,通过特征匹配建立长短焦分割图像目标间的联系,通过这种联系对三维目标的数据关联和数据融合。
2.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,车辆对周围环境感知,获取车辆周围的车辆的大小、位置和姿态,具体为目标车辆的相对位置,车辆的长、宽、高和偏航角。
3.根据权利要求1所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述采用长短焦相机采集车辆前方的图像,对车辆前方的环境进行感知,激光雷达感知车辆周围的环境,具体包括:多焦距相机由焦距不同的两个相机组成,用于观测车辆的正前方,多焦距相机水平放置,短焦相机位于左边,长焦相机位于右方,距离较近,有共同视野,同时采集图像;
激光雷达置于车顶,感知车辆四周的环境,选择激光雷达的扫描到车辆正前方的时间戳上的多焦距相机采集的图像数据,两传感器的数据采集间隔小于0.01秒。
4.根据权利要求3所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述对多焦距相机和激光雷达联合标定,通过时空同步算法,对图像数据和激光雷达采集的点云数据进行时空同步,具体包括:建立世界坐标系,标定长短焦相机,获得各自得内参和外参,得世界坐标系与短焦相机的旋转和平移矩阵为R1、T1,与长焦相机的旋转和平移矩阵R2、T2;世界坐标中一点P在世界坐标系、长焦相机坐标系、短焦相机坐标系下的非齐次线性坐标为 则:联立两个等式可以得到
R12、T12为长短焦相机间的旋转平移矩阵,短焦相机与激光雷达间的旋转平移矩阵R3、T3,可得长焦相机与激光雷达间的旋转平移矩阵R23、T23。
5.根据权利要求4所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述通过时空同步算法,对图像数据和激光雷达采集的点云数据进行时空同步,具体包括:
选择激光雷达与多焦距相机采集的数据中时间戳最接近的数据,得到时间同步的点云数据和多焦距相机图像数据;
根据激光雷达与长短焦像机的旋转平移矩阵和长短焦相机的内参矩阵,结合时间同步的点云数据和多焦距相机数据,可得点云中任何一点在图像中的像素坐标。实现了空间同步,完成图像数据与点云数据时空同步。
6.根据权利要求5所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述用神经网络分别对长短焦图像语义分割,利用分割结果生成长短焦图像的视锥,具体包括:
使用一语义分割网络分别对长焦、短焦相机图像语义分割,得到目标的类别ci和语义分割区域;语义分割网络指的是将图像中的每个像素分为一个类别,同一类物体具有相同的类别标签;一般由卷积层和池化层提取图像的特征,图片分辨率降低,特征层增加,再由反卷积层将图片分辨率恢复原始图片大小,得到图像中物体的类别和像素位置;
利用所得的语义分割区域,结合标定好的长、短焦相机内参和投影矩阵,生成视锥,利用激光雷达和相机间的转换关系RT矩阵,将激光雷达获得的点云数据投影到视锥中,过滤掉视锥外的点云,保留视锥内的点云。
视锥图像中一区域可由光轴和该区域生成金字塔形状,由相平面至远处平面物体都会成像到该区域,使用语义分割获取检测物体的边缘,由该边缘生成视锥。根据相机的内参和投影矩阵,得到相机光心的三维坐标和像平面中一点的三维坐标,即可由两点绘制三维空间中的一条直线,沿语义分割所得目标的掩码边缘所有像素点与光心可建立视锥面。
7.根据权利要求6所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述求得目标点云的质心,设定阈值,质心深度小于阈值的直接输入点云网络预测目标三维信息,质心深度大于阈值的对点云预处理后预测目标的三维信息;具体包括:采用随机一致性算法,利用点云的欧式距离,计算每个目标的点云的中心点作为该目标的质心(xi,yi,zi);
设定一个距离阈值zt,当视锥中的目标质心的深度信息zi小于该阈值时,将视锥中的点云输入点云检测网络,获得目标的类别,中心点位置,长宽高和偏航角;
当视锥中的目标质心的深度信息zi大于该阈值时,以目标点云的质心为原点,相机坐标系的光心方向为z轴,右方为x轴建立右手坐标系,以目标点云的空间范围建立三维框。将点云质心,三维框与分割所得的目标类别ci输入到神经网络,对目标的质心和三维框进行回归。
8.根据权利要求7所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述采用随机采样一致性算法,利用点云的欧式距离,计算每个目标的点云的中心点作为该目标的质心(xi,yi,zi);
随机采样一致性算法是从一组包含异常值的观测数据集中估计其数学模型参数的迭代方法。随机选取一视锥中点云的一个点(x,y,z),计算其与视锥中所有点的欧式距离和(N为视锥中点云的总数,j为视锥中一点云),迭代g次,取其中使欧式距离和最小的一点(xi,yi,zi)作为该目标的质心。
9.根据权利要求8所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述利用多尺度图像金字塔实现长短焦图像特征点的匹配,通过特征匹配建立长短焦分割图像目标间的联系,具体包括:根据长短焦相机的焦距比,分别建立同一时刻长短焦图像多尺度特征金字塔,提取长短焦图像的特征点;
将图像缩放得到图像的多尺度特征金字塔,使得长焦图像中的目标与短焦图像中的目标具有相同尺度,长短焦多尺度特征金字塔特征金字塔特征点匹配具体算法如下;
根据长短焦相机的焦距比s和长短相机的投影矩阵,将长焦多尺度图像金字塔的第n层的特征点与短焦多尺度图像金字塔第0层的特征点进行匹配,每一次长短焦图像的匹配都隔n‑1层;
保留长短焦图像匹配的特征点,根据尺度缩放因子,将特征点映射回长短焦分割图像,对于长短焦图像分割掩码都有特征点的情况,建立长短焦分割图像目标间的联系。
10.根据权利要求9所述的一种基于多焦距相机与激光雷达融合的三维目标检测方法,其特征在于,所述对三维目标检测的结果数据关联和融合,具有以下步骤:对于长短焦分割图像建立联系的目标,根据视锥的关联查询到目标的类别,中心位置,长宽高和偏航角,由于远处的目标在长焦中呈现的像素范围更大,对于边缘检测更精准,对该目标使用长焦检测到的类别、中心位置、长宽高、偏航角等信息;将长短焦目标分割未建立联系的目标作为新的目标,将融合后的目标与新的目标的三维信息映射到短焦图像和点云图像上,便于观察。