1.一种基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法,其特征是,包括:获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据;
对所述待检测区域数据进行预处理得到有效目标数据;
对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合,得到融合后的点云数据;
将所述点云数据映射至图像坐标系下,得到图像坐标系下的点云图像;
将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域,输入预先训练的目标检测神经网络,得到所述目标检测神经网络输出的对应各子图像区域的目标检测结果;目标检测神经网络采用双模态YOLOv网络,点云图像和视频图像的子图像分别经主干网络backbone1和backbone2进行处理,再通过HEAD网络融合两路处理结果,得到子图像区域的目标检测结果;
对子图像区域的目标检测结果进行拼接,得到目标检测结果的全景图像;
其中,所述对毫米波雷达检测数据和激光雷达检测数据的有效目标数据进行数据融合,得到融合后的点云数据,包括:将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在时间上对齐,在测量时刻i下,得到所述毫米波雷达检测数据坐标,所述激光雷达检测数据坐标;
将毫米波雷达的点云和激光雷达的点云分别进行时刻i、距离和、仰角和匹配,偏向角和匹配,将所述毫米波雷达检测数据以及激光雷达检测数据的有效目标数据在空间上对齐,得到对齐后的目标点云坐标,,
,
,
其中,为激光雷达计算目标点距离原点距离,为目标与激光雷达原点竖直方向之间的仰角,为偏向角,为目标点的速度,i为测量时刻,表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段;分别为激光雷达坐标系下X、Y、Z轴的坐标值;
基于所述对齐后的有效目标数据获取数据层融合后的点云数据,包括:获取对齐后数据的当前时刻i的目标聚类簇,单个点云的坐标为;
获取当前时刻i的目标点云状态向量,单个目标点的状态向量为,
规定状态矩阵,其中为当前时刻i和下一时刻i+1之间的实际时间间隔,单位为秒s;
规定外部影响;
规定协方差矩阵为,过程噪声矩阵,
基于所述状态向量、状态矩阵S、协方差矩阵、噪声矩阵N以及第i+1时刻的预测值的计算公式和误差矩阵计算公式,得到所述第i+1时刻的测量值和预测值的预测误差,表达式为:,
其中,;
规定卡尔曼增益,其中为测量噪声矩阵,代表激光雷达目标测量值与目标真值之间的差值,为确定值,与激光雷达自身硬件相关,将所述卡尔曼增益反向传播给状态向量和i+1时刻的误差矩阵,得到更新后的状态向量和误差矩阵,表达式为:以及,
其中,i+1时刻协方差矩阵更新为;
根据所述更新后的状态向量得到融合后的点云数据。
2.根据权利要求1所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法,其特征是,所述获取由毫米波雷达、激光雷达以及高清阵列摄像机同步采集的待检测区域数据,包括:获取毫米波雷达检测的当前时刻数据,的数据格式为目标点云在毫米波雷达坐标系中的坐标值,其中为目标点与毫米波雷达原点的距离,表示目标与毫米波雷达原点竖直方向之间的仰角,为偏向角,为目标点的速度,i为测量时刻,表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段;
获取激光雷达检测的当前时刻数据,的数据格式为目标点云在激光雷达坐标系中的坐标值, i为测量时刻,表示毫米波雷达、激光雷达和高清阵列摄像机同步的第i个时间片段;
获取高清阵列摄像机拍摄的测量时刻为i的场景图像;
基于所述当前时刻点云数据、当前时刻点云数据以及测量时刻为i的场景图像获取待检测区域数据。
3.根据权利要求2所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法,其特征是,所述对所述待检测区域数据进行预处理得到有效目标数据,包括:对所述毫米波雷达检测的当前时刻数据进行滤波处理,并得到有效目标的点云速度信息、点云距离信息以及点云回波强度的RDM图;
对所述激光雷达检测的当前时刻雷达数据进行地面点云分割,得到分割后的点云图像,对所述分割后的点云图像进行DBSCAN聚类算法剔除异常点,得到有效目标聚类簇;
对所述高清阵列摄像机拍摄的测量时刻为i的场景图像和预先拍摄的背景图像做差值,得到差分图像,对所述差分图像进行二值化操作得到二值图像,对所述二值图像进行边缘检测算法,得到有效目标轮廓,基于所述目标轮廓信息初步获取有效目标box。
4.根据权利要求1所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法,其特征是,所述将所述点云数据映射至图像坐标系下,得到图像坐标系下的点云图像,包括:将所述毫米波雷达、激光雷达以及高清阵列摄像机固定在同一位置,将所述激光雷达和毫米波雷达的安装位置作为坐标系原点,得到目标点在雷达坐标系下的坐标,单位为米,表示目标的速度信息,单位为米/秒;
将成像平面的中点设为图像坐标系的原点,图像坐标系的X轴和Y轴分别平行于成像平面的相邻两边,相机光心C到成像平面的距离为h,得到目标点在成像平面上的成像点p点,单位为毫米;
将光心C设为所述高清阵列摄像机坐标系坐标原点,高清阵列摄像机坐标系X轴和Y轴分别平行于图像坐标系的X轴和Y轴,Z轴为高清阵列摄像机的光心轴,得到目标点在高清阵列摄像机坐标系下的坐标,单位为米;
将成像平面的左上角设为图像像素坐标的坐标系原点,得到目标点在图像像素坐标系下的坐标,单位为像素,将和设为单个像素在图像坐标系下的物理尺寸;
基于所述雷达坐标系下的目标点坐标得到图像像素坐标系下的目标点坐标,计算公式为:,
其中矩阵为高清阵列摄像机参数矩阵,为像素坐标系的中心点,矩阵为雷达坐标系转换成相机坐标系的转换矩阵,矩阵为雷达坐标系到相机坐标系的旋转变换矩阵,为雷达坐标系到相机坐标系的平移变换向量。
5.根据权利要求4所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法,其特征是,所述得到目标点在图像像素坐标系下的坐标,包括:假设高清阵列摄像头包含n行m列个摄像头,摄像头编号,得到第个区域下的像素坐标,其中⌊⌋为向下取整符号,N和M分别为像素坐标系的长和宽像素值。
6.根据权利要求5所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法,其特征是,所述目标检测神经网络的训练方法包括:将所述高清阵列摄像机视频图像按照摄像头区域分为n块获取n张图片,并利用数据预处理中的轮廓信息对所述n张图片自动标注目标框,得到图片集合Images1;
将所述点云图像同样分为n块获取n张图片,并利用数据预处理中的轮廓信息对所述n张图片自动标注目标框,得到图片集合Images2,所述Images2与所述Images1共用同一个label集合;
基于所述图片集合Images1和图片集合Images2得到双模态数据集;
将所述双模态数据集输入神经网络,得到训练好的目标检测神经网络。
7.根据权利要求5所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法,其特征是,所述将所述点云图像和预处理后的高清阵列摄像机视频图像分割成多个子图像区域,输入预先训练的目标检测神经网络,包括:将一一对应的Image1子区域图像和Image2子区域图像同时送入目标检测神经网络中进行检测。
8.一种采用权利要求1-7任一项所述的基于毫米波雷达、激光雷达和高清阵列摄像机的机场目标检测方法的机场目标检测系统,其特征是,包括:数据获取模块:用于获取所述毫米波雷达、激光雷达以及高清阵列摄像机同步采集的图像数据;
数据预处理模块:用于对所述毫米波雷达检测数据、激光雷达检测数据以及高清阵列摄像头拍摄的图像数据进行预处理,得到有效的目标数据;
雷达数据融合及映射模块:用于对所述毫米波雷达检测数据以及激光雷达检测数据进行数据融合,并将融合后的数据映射至图像坐标系,得到图像坐标系下的点云图像;
目标检测模块:用于将雷达图像数据及其相对应的高清阵列摄像机图像数据输入预先训练好的目标检测模型进行目标检测,得到各图像的目标检测结果;
图像分割及拼接模块:用于对图像数据进行分割得到子图像区域,以及用于对子图像区域进行拼接得到全景图像。