1.一种面向智能车的毫米波雷达与单目相机信息融合方法,假定地面是平坦的,毫米波雷达安装在智能车前保险杠,相机安装在车顶或后视镜,雷达与相机在同一车轴线上,其特征在于,包括以下步骤:标定阶段:安装并调整相机与毫米波雷达位置,利用张正友标定法获取相机内部参数,然后将相机成像平面投影到俯视图,以满足毫米波雷达与单目相机目标信息在同一车辆坐标系下;
识别阶段:在线下用深度学习方法训练基于图像的多目标识别模型,线上在智能车行驶的过程中雷达与相机实时采集数据,把识别的目标信息转化到同一车辆坐标系下并排除无效目标;
融合阶段:用全局最近邻匹配算法判断目标是否一致,通过扩展卡尔曼滤波跟踪匹配目标和未匹配目标。
2.根据权利要求1所述的面向智能车的毫米波雷达与单目相机信息融合方法,其特征在于,所述标定阶段利用张正友标定法获取相机内部参数,具体过程包括:
1)、当相机安装位置固定后,在相机前方拍摄不同角度的若干张棋盘格标定板的图像;
2)、检测出棋盘格标定板的图像中的特征点;
3)、根据检测的特征点位置信息,在不考虑畸变的情况下用直接法求出相机内部参数初值;
4)、用非线性方法优化包括畸变系数在内的所有相机内部参数。
3.根据权利要求2所述的面向智能车的毫米波雷达与单目相机信息融合方法,其特征在于,所述将相机成像平面投影到俯视图,以满足两个传感器识别的目标信息在同一车辆坐标系下,其具体步骤包括:
1)、测出相机光心到地面的投影点。
2)、在地面平铺四张棋盘格标定图案的标定纸,分别测出棋盘格黑白块交叉点在车辆坐标系下的坐标(x,y)以及在图像中的坐标(u,v);
3)、利用最小二乘法求出相机成像平面到俯视图的转移矩阵P,其表达式为:
4.根据权利要求3所述的面向智能车的毫米波雷达与单目相机信息融合方法,其特征在于,所述识别阶段的具体步骤为:
1)、线下采集用于目标识别的训练样本,标注出真实目标的位置和类别信息;
2)、将样本图像作为深度神经网络的输入,标注信息作为网络的输出,经过多次迭代得到多目标识别模型参数;
3)、线上实时采集图像,并根据深度神经网络模型和参数获取图像中各个目标的位置和类别信息;
4)、根据转移矩阵P,将相机目标在图像上的位置信息转化到车辆坐标系;根据前后两幅图像的时间差求出目标的速度;
5)、根据雷达数据协议,对毫米波雷达的数据进行解算,排除虚假目标,返回多个目标的距离信息和速度信息。
5.根据权利要求4所述的面向智能车的毫米波雷达与单目相机信息融合方法,其特征在于,所述步骤4)根据转移矩阵P,将相机目标在图像上的位置信息转化到车辆坐标系;根据前后两幅图像的时间差求出目标的速度,具体包括:根据所得转移矩阵P,将目标位置信息转化为到相机的水平距离和垂直距离;根据前后两幅图像的时间差求出目标的速度,计算公式为:tk和tk-1分别表示在k和k-1时刻的时间戳,xk和yk分别表示目标在k时刻到相机的水平距离和垂直距离, 和 分别表示目标在k时刻相对于相机的水平方向速度和垂直方向速度。
6.根据权利要求1所述的面向智能车的毫米波雷达与单目相机信息融合方法,其特征在于,所述用全局最邻域匹配算法判断目标是否一致,通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标,步骤具体为:
1)、将毫米波雷达有效目标序列信息R={r1 r2 … rm}与相机识别的有效目标序列信息C={c1 c2 … cn}进行全局最近邻匹配,rm表示第m个雷达目标,cn表示第n个相机目标,得到匹配的目标、未匹配的雷达目标与未匹配的相机目标;
2)、分别跟踪匹配的目标、未匹配的雷达目标与未匹配的相机目标;
3)、判断跟踪的目标是否为有效目标,如果连续跟踪到匹配的目标,则该目标为有效目标,否则为无效目标;如果连续跟踪到未匹配的相机目标或未匹配的雷达目标,这在下一时刻回归到相应有效目标序列中等待重新匹配,否则视为无效目标。
7.根据权利要求6所述的面向智能车的毫米波雷达与单目相机信息融合方法,其特征在于,所述用全局最邻域匹配算法判断目标是否一致,其算法实现过程为:目标函数:
约束条件:
其中
m表示雷达目标个数,n表示相机目标个数,cij表示雷达目标与相机目标距离的代价矩阵的元素;
第i个雷达目标与第j个相机目标距离dij的阈值G是它们匹配的必要条件,ξij表示是否是必要条件,ξij=1表示是,ξij=0表示否。
8.根据权利要求6所述的面向智能车的毫米波雷达与单目相机信息融合方法,其特征在于,所述通过扩展卡尔曼滤波跟踪匹配的目标和未匹配的目标,具体为:当完成目标匹配后,匹配的目标将会被跟踪以保证目标在时间上的连续性,对于没有匹配的目标,同样需要进行跟踪;首先确定目标的状态向量,对于未匹配的雷达目标,它的状态包括目标在水平面两个方向的距离和速度,即:表示第i个未匹配雷达目标在第k时刻的状态向量;xr和yr分别表示雷达目标到相机的水平距离和垂直距离, 和 分别表示雷达目标的水平方向速度和垂直方向速度;
对于未匹配相机目标,其状态向量为:
表示第i个未匹配相机目标在第k时刻的状态向量,xc和yc分别表示相机目标到相机的水平距离和垂直距离, 和 分别表示相机目标的水平方向速度和垂直方向速度,class表示目标类别,相机目标不能直接提供速度信息,只有位置信息和类别信息,相机目标的速度计算公式为:tk和tk-1分别表示在k和k-1时刻的时间戳;
对于匹配的目标,根据传感器的平均误差对每个测量值分配权值,当δrx<δcx,δry<δcy时其中δrx和δry分别表示雷达目标在x和y方向的平均误差,δcx和δcy分别表示相机目标在x和y方向上的平均误差;
定义其状态向量为
利用扩展卡尔曼滤波分别跟踪这些目标,在目标跟踪的过程中,如果连续跟踪到匹配的目标,则该目标为有效目标,否则为无效目标;如果连续跟踪到未匹配的相机目标或未匹配的雷达目标,则在下一时刻回归到相应有效目标序列中等待重新匹配,否则视为无效目标。