1.基于毫米波雷达的特征融合能见度评估方法,其特征在于,包括:采集视觉数据与3D雷达数据;
对采集到的数据进行视觉特征提取与3D特征提取;
将提取到的特征进行融合后,使用前馈神经网络进行能见度的评估。
2.如权利要求1所述的基于毫米波雷达的特征融合能见度评估方法,其特征在于:所述视觉特征提取包括,使用ResNet作为视觉特征提取器,输出256维特征张量;
所述3D特征提取包括,使用VoxelNet作为3D特征提取器,输出256维特征张量。
3.如权利要求2所述的基于毫米波雷达的特征融合能见度评估方法,其特征在于:所述将提取到的特征进行融合包括,通过相机成像的几何将点3D云图的数据通过双线性插值法映射到图片中,计算点云匹配的图像坐标;
获得点云在图像上的投影:
其中,u表示待求点的横坐标,v表示待求点的纵坐标,z表示点到相机的距离,计算雷达点对应的图像特征:
其中,f(u,v)表示待求像素点,Q
将从毫米波雷达数据中提取的特征和从摄像头获取的视觉特征进行融合,对于每一个匹配的点,将视觉部分和3D点云部分的提取结果直接拼接为512维特征张量。
4.如权利要求3所述的基于毫米波雷达的特征融合能见度评估方法,其特征在于:所述能见度的评估包括,对图中的内容进行能见度的区域划分;
评估每个像素点
其中,
使用聚类算法,目标是最小化每个聚类内部的特征差异,同时最大化聚类之间的特征差异,聚类过程可以表示为:其中,K表示聚类中心的数量,
根据不同的聚类结果,将每个像素点分配到以各自聚类中心数据集合
5.如权利要求4所述的基于毫米波雷达的特征融合能见度评估方法,其特征在于:所述融合特征向量包括,对于图像中的每个像素点其中,
计算全局颜色直方图特征:
其中,I表示整个图像;B表示每个颜色通道的直方图分箱数;
将LBP特征和全局颜色直方图特征融合为最终的特征向量:其中,
6.如权利要求5所述的基于毫米波雷达的特征融合能见度评估方法,其特征在于:所述能见度的评估还包括,若聚类结果为1个数据集合,则判定影响能见度的因素是均匀分布,直接对图像进行能见度计算;若聚类结果大于1个数据集合,则判定影响能见度的因素是不均匀分布,分别对每个聚类得到的数据集合进行能见度计算;
在完成能见度的计算后,对原始图片中将K个能见度的区域进行区别显示,并在每个区域中标注能见度数值V;
若
7.如权利要求6所述的基于毫米波雷达的特征融合能见度评估方法,其特征在于:所述前馈神经网络包括,将融合后的特征图传入前馈神经网络中,对每个区域进行识别,输出系数根据比尔-朗伯定律得出能见度V:
其中,SNR表示在真实世界测算出的常系数。
8.一种采用如权利要求1-7任一所述方法的基于毫米波雷达的特征融合能见度评估系统,其特征在于:采集模块,采集视觉数据与3D雷达数据;
特征提取模块,对采集到的数据进行视觉特征提取与3D特征提取;
评估模块,将提取到的特征进行融合后,使用前馈神经网络进行能见度的评估。
9.一种计算机设备,包括:存储器和处理器;所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现基于毫米波雷达的特征融合能见度评估方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现基于毫米波雷达的特征融合能见度评估方法的步骤。