1.基于语义特征点检测的车辆位姿估计方法,其特征在于,包括以下步骤:步骤S1:构建虚拟车辆3D模型,并选取车辆模型上的点作为3D关键点;
步骤S2:采集现实场景道路图片中的车辆图片,通过YOLOv8模型检测车辆图片的2D包围框,并提取2D包围框中的车辆图片;
步骤S3:通过VisionTransformer技术对提取后的车辆图片的车辆进行分类;
步骤S4:根据分类后的车辆类型选取对应的车辆3D模型;
步骤S5:改进YOLOv8模型,将SWS层融入到YOLOv8的主干网络和Neck中的卷积层,SWS层为引入了切片操作的SimAM模块,并在主干网络的SPPF层后加入BSAM层;
步骤S6:利用改进后的YOLOv8模型检测车辆3D模型,筛选3D关键点:步骤S7:通过多点透视算法求解车辆位姿:
首先,对车辆3D模型进行渲染得到合成图像样本;
然后,使用合成样本来训练改进的YOLOv8模型;
根据3D语义特征点的定义,对真实车辆图像的3D语义特征点进行标注,对改进的YOLOv8模型进行微调,微调后的YOLOv8模型检测得到2D关键点;
将筛选后的3D关键点和检测得到的2D关键点一一对应,通过多点透视算法求解位姿。
2.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述步骤S1中利用3D建模软件建模形成虚拟车辆3D模型。
3.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述步骤S1中选取角点作为3D关键点,其步骤为:从虚拟车辆3D模型上的任一顶点在半径为的球形范围内有个近邻点,该点集的协方差矩阵为,其中;
计算的特征值,,,且,可以反映出该顶点周围的曲率,设定阈值,若,则判定为角点。
4.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述步骤S2中2D包围框包括检测目标的类别、2D包围框中心点的2D坐标以及包围框的长宽。
5.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述步骤S7中合成图像样本包括车辆图片、3D关键点对应的3D特征点和2D特征点坐标信息;
其中,3D特征点即3D关键点在以虚拟车辆3D模型的中心为原点建立的世界坐标系上的三维坐标,2D特征点即3D特征点在2D图像上的投影坐标。
6.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述步骤S7中改进的YOLOv8模型的训练步骤为:配置好YOLOv8所需的conda环境,安装相关的依赖库;
将合成样本中的2D点标注文件更改为YOLOv8需要的格式;
将数据集按照8:1:1的比例划分为训练集,验证集和测试集;
在YOLOv8的配置文件中更改模型训练中的学习率,batch以及epoch训练相关配置;
运行训练脚本,指定输入文件夹和输出文件夹,输入文件夹中包含训练集图片,验证集图片以及2D标注文件,输出文件夹用来保存模型输出的权重。
7.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述步骤S7中对筛选后的3D关键点以及对应的3D特征点和2D特征点进行语义特征定义,定义筛选后的3D关键点以及对应的3D特征点和2D特征点的名称和类型。
8.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述步骤S7中多点透视算法为:,其中,、和为3D关键点的坐标,和为2D关键点的坐标,为相机内参,从而实现和平移矩阵的求解。
9.如权利要求1所述的基于语义特征点检测的车辆位姿估计方法,其特征在于,所述YOLOv8模型包括Backbone、Neck和Head。