欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202411463481X
申请人: 南京信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度估计改进的无人车姿态校正方法,其特征在于,所述无人车上设置有激光雷达和摄像头,包括以下步骤:步骤一、利用激光雷达和摄像头分别采集三维点云和二维图像,利用Depth Anything算法从所述二维图像中获得深度估计图像;

步骤二、将三维点云、二维图像和深度估计图像输入姿态校正网络,所述姿态校正网络包括依次连接的特征嵌入模块、重叠区域检测模块和姿态估算模块;

所述特征嵌入模块包括第一ResNet网络、第一最大池化层、第一SO-Net网络和第二最大池化层,所述第一最大池化层设置在所述第一ResNet网络后,所述第二最大池化层设置在所述第一SO-Net网络后;

所述二维图像和深度估计图像连接后得到混合图像并输入所述第一ResNet网络,所述第一ResNet网络用于提取混合图像的局部图像特征所述三维点云输入所述第一SO-Net网络,所述第一SO-Net网络用于提取三维点云的局部点云特征所述重叠区域检测模块包括点云操作模块、图像操作模块和重叠检测模块,所述点云操作模块包括图像到点云注意融合模块I2PAF和点云解码器;

所述图像操作模块包括点云到图像注意融合模块P2IAF和图像解码器;

混合图像的全局图像特征

三维点云的全局点云特征

所述点云权重特征

所述图像权重特征

所述重叠检测模块寻找点云分数和图像分数最相近的值,并将与之对应的三维点云和二维图像生成点云-图像集合;

所述姿态校正网络的损失函数通过下式表示:

式中,

步骤三、利用EPnP算法对步骤二得到的点云-图像集合进行求解,得到初次姿态矩阵步骤四、从步骤二的混合图像的局部图像特征

2.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤二中所述图像到点云注意融合模块I2PAF包括图像注意力权重生成模块和图像特征权重生成模块,所述图像注意力权重生成模块包括MLP函数和第一Softmax函数,用于根据连接后的混合图像的全局图像特征步骤二中所述点云到图像注意融合模块P2IAF包括点云注意力权重生成模块和点云特征权重生成模块,所述点云注意力权重生成模块包括CNNS网络和第二Softmax函数,用于根据连接后的三维点云的全局点云特征

3.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤二中所述点云解码器包括第一特征值模块和点云分数模块,所述第一特征值模块包括第一PointNet网络和第一上采样模块,用于根据连接后的混合图像的权重特征和三维点云的局部点云特征步骤二中所述图像解码器包括第二特征值模块和图像分数模块,所述第二特征值模块包括第二ResNet网络和第三上采样模块,用于根据连接后的三维点云的权重特征和混合图像的局部特征

4.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤三中初次姿态矩阵式中,

5.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤三中所述EPnP算法的损失函数通过下式表示:式中,

6.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤四中利用集合步骤41、利用相机内参矩阵K对三维点云进行投影,将三维点云的三维坐标转换为二维图像上的二维像素坐标,得到投影点云,获取投影点云在深度图投影位置上的深度值信息和点云投影距离;

步骤42、使用最小二乘法建立点云投影距离和深度值信息的拟合函数,然后利用平均池化的方法计算其损失值最小的最佳位移点;

步骤43、利用所述最佳位移点对投影点云进行位移调整;

步骤44、姿态变换:根据三维点云的投影位移,将其转换成三维点云在三维空间中的姿态变换,得到变换矩阵

7.如权利要求1所述的基于深度估计改进的无人车姿态校正方法,其特征在于,步骤四中最终的相机姿态矩阵式中,