欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109900353
申请人: 广西科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双目视觉及真-伪激光点云的目标检测方法,基于双目视觉相机和16线激光雷达,其特征在于,包括以下步骤:A、构建神经网络,神经网络包括依次连接的IGEV-Stereo深度估计模块、真-伪激光点云融合模块和AVOD 3D目标检测模块;

B、获取双目视觉相机拍摄的左视图和右视图,分别输入IGEV-Stereo深度估计模块中,经IGEV-Stereo深度估计模块处理得到最终视差图像;

C、通过16线激光雷达构建激光点云坐标系,检测得到真实激光点云;将最终视差图像中的每个像素投影到16线激光雷达构建的激光点云坐标系中,生成伪激光点云,然后通过Voxel点云滤波算法对伪激光点云进行下采样,再通过Iterative Closest Point点云配准原则将伪激光点云和真实激光点云进行配准融合,得到真-伪激光点云;

伪激光点云数据生成过程为:

通过立体深度估计模型来获取二维图像中的每一个像素的深度信息,然后将获取到的深度信息投影到三维的16线激光雷达构建的激光点云坐标系中:将图像的像素通过以下公式转换为三维点云空间对应的,即得;

;

其中g,是相机中心,和是水平和垂直焦点长度;

通过Iterative Closest Point点云配准原则将伪激光点云和真实激光点云进行配准融合的过程为:a、通过寻找最佳的变换矩阵M来最小化伪激光点云与真实激光点云之间的总误差,通过迭代的方式,将伪激光点云的每个点与真实激光点云中的平面进行匹配,以计算点到平面的距离误差;然后,通过最小化这些距离误差,ICP算法调整变换矩阵M的参数,逐步优化伪激光点云的位置和姿态,使其与真实激光点云更加吻合,具体公式如下:;

其中, M是4×4的三维刚体变换矩阵,表示伪激光点云,表示16线真实激光点云,是处的单位法向量;

b、将真实激光点云和伪激光点云统一到3D空间坐标系下,以真实激光点云为中心,计算伪点云到真实激光点云的欧式距离:;

其中D表示真实激光点云和伪激光点云的欧式距离,表示真实激光点云的3D空间位置,表示伪激光点云的3D空间位置,然后制定半径阈值r;

;

使用半径阈值r来判断点与点之间的欧氏距离,如果点与中心点的距离小于等于阈值,则被保留下来,得到属于真实激光点云或真实激光点云附近的伪激光点云;同时保留真实激光点云和与其相邻的伪激光点云;

D、左视图和真-伪激光点云分别输入AVOD 3D目标检测模块,处理得到待测目标类型、位置、尺寸,在左视图和真-伪激光点云中分别标识出目标,得到最终目标检测结果。

2.如权利要求1所述的基于双目视觉及真-伪激光点云的目标检测方法,其特征在于:

所述的步骤B中,IGEV-Stereo深度估计模块中处理过程如下:

a、左视图和右视图分别经过Feature Network模块处理,得到的两个Feature Network模块处理结果,分别同时输入group-wise correlation volume模块和All-pairsCorrelations模块中处理;

group-wise correlation volume模块处理结果依次经过3D RegularizationNetwork模块、Encoding Volume模块处理,Encoding Volume模块处理结果分为两路,一路面经过soft argmin模块处理后得到初始视差图,另一路依次经过1D average pooling模块、Geometry Encoding Volume模块处理,Geometry Encoding Volume模块处理结果与All-pairs Correlations模块处理结果分别输入CGEV模块,处理得到CGEV模块处理结果;

b、左视图输入context Network模块中处理,得到context Network模块处理结果;初始视差图和CGEV模块处理结果进行线性差值计算,该线性差值计算结果和contextNetwork模块处理结果分别输入第一Conv GRU模块处理,第一Conv GRU模块处理结果与初始视差图相加融合后,得到第一融合结果;同时第一Conv GRU模块迭代得到第二Conv GRU模块;

第一融合结果和CGEV模块处理结果进行线性差值计算,该计算结果和contextNetwork模块处理结果分别输入第二Conv GRU模块处理,第二Conv GRU模块处理结果与初始视差图相加融合后,得到第二融合结果;同时第二Conv GRU模块迭代得到第三Conv GRU模块;以此类推不断重复,得到第N个融合结果,该结果即为最终视差图。

3.如权利要求2所述的基于双目视觉及真-伪激光点云的目标检测方法,其特征在于:

所述的步骤a中,Encoding Volume模块计算公式为:几何编码体积:

;

这里<·,·>表示内积,d表示视差索引,表示特征通道的数量,我们利用softargmin函数从几何编码体积回归出初始的起始视差:;

其中d0为原图尺寸的 1/4,然后将其作为初始视差图,使用多尺度的上下文特征(Context features)来初始化3级GRU的隐藏层,继而使用 ConvGRUs 模块来对视差图迭代优化。

4.如权利要求1所述的基于双目视觉及真-伪激光点云的目标检测方法,其特征在于:

AVOD 3D目标检测模块中处理过程如下:

a、3D Anchor grid生成候选区域的3d锚框网格;

b、左视图先经过Feature Extractor模块进行特征提取得到图像特征图,图像特征图经过1×1卷积处理后,得到卷积图像,该卷积图像和3d锚框网格一同输入Crop and Resize模块;在Crop and Resize模块中,该卷积图像放入3d锚框网格,标定目标所在位置、朝向、类别的初步目标框,将这些卷积图像中的初步目标框分别进行剪裁,得到各个目标所在的小幅区域图,将这些小幅区域图输入Fusion模块;

真-伪激光点云先经过Feature Extractor模块进行特征提取得到激光点云特征图,激光点云特征图经过1×1卷积处理后,得到激光点云卷积图像,该激光点云卷积图像和3d锚框网格一同输入Crop and Resize模块;在Crop and Resize模块中,该激光点云卷积图像放入3d锚框网格,标定目标所在位置、朝向、类别的初步目标框,将这些激光点云卷积图像中初步目标框分别进行剪裁,得到各个目标所在的小幅区域激光点云图,将这些小幅区域激光点云图输入第一Fusion模块;

在第一Fusion模块中,各幅小幅区域图和各幅小幅区域激光点云图进行多模态融合,然后依次经过全连接层和NMS模块处理后,得到目标所在位置、朝向、类别的优化目标框;

c、将优化目标框和图像特征图输入Crop and Resize模块;在Crop and Resize模块中,图像特征图放入优化目标框,将这些图像特征图中优化目标框分别进行剪裁,得到各个目标所在的优化小幅区域图,将这些优化小幅区域图输入第二Fusion模块;

将优化目标框和激光点云特征图输入Crop and Resize模块;在Crop and Resize模块中,激光点云特征图放入优化目标框,将这些激光点云特征图中的优化目标框分别进行剪裁,得到各个目标所在的优化小幅区域激光点云图,将这些优化小幅激光点云区域图输入第二Fusion模块;

在第二Fusion模块中,各幅优化小幅区域图和各幅优化小幅区域激光点云图进行多模态融合,然后依次经过全连接层和NMS模块处理后,得到目标所在位置、朝向、类别的优化目标框;将这些优化目标框以2D、3D的形式在左视图中标识出来,同时以3D的形式在真-伪激光点云中标识出来,得到最终目标检测结果。

5.如权利要求4所述的基于双目视觉及真-伪激光点云的目标检测方法,其特征在于:

所述的步骤b中,卷积图像中的初步目标框剪裁成的小幅区域图的大小为3×3,激光点云卷积图像中初步目标框剪裁成小幅区域激光点云图大小为3×3。

6.如权利要求4所述的基于双目视觉及真-伪激光点云的目标检测方法,其特征在于:

所述的步骤c中,图像特征图中优化目标框剪裁成的优化小幅区域图的大小为7×7,激光点云特征图中的优化目标框剪裁成的优化小幅激光点云区域图的大小为7×7。