1.一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,包括:获取当前时刻待检测的点云数据,将获取的点云数据输入到训练好的点云3D目标检测模型中,得到目标检测结果;
对点云3D目标检测模型进行训练的过程包括:S1:获取原始点云数据,采用距离最远采样法对原始点云数据进行选取,得到点云序列;
S2:将原始点云数据划分为间距相等的体素块,并提取体素块的初始特征;
S3:将点云序列和体素块的初始特征输入到3D稀疏卷积神经网络中,得到体素特征空间;将点云序列中关键点的位置信息映射到每一层稀疏卷积对应位置的体素特征空间中,更新关键的位置信息;
S4:采用距离最远点采样序列提取法对每一层体素特征空间中的关键点进行特征提取,得到点云序列的距离采样局部特征;
S5:采用特征最远点采样方法对点云序列的距离采样局部特征进行采样,得到局部特征关键点特征;
S6:采用融合策略将各个稀疏卷积层的距离采样局部特征进行融合,得到距离采样全局特征;采用融合策略将各个稀疏卷积层局部特征关键点特征进行融合,得到特征采样全局特征;
S7:将体素特征空间转化为2D鸟瞰视图,并采用双线性插值法提取鸟瞰视图的稠密特征;采用区域特征提取方法对稠密特征进行处理,生成3D建议框;
S8:根据3D建议框对距离采样特征和特征采样特征进行感兴区域池化,得到目标检测结果;
S9:根据得到的结果计算模型的损失函数,调整模型的参数,当损失函数最小时完成模型的训练。
2.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,对原始点云数据进行距离特征采样的过程包括:在原始点云数据中随机初始化一个点,以该点为初始点采用距离最远点采样方法从所有点云数据中获取距离关键点,得到点云序列;距离最远点采样方法的公式为:其中,D‑Distance表示两点之间的L2距离,X、Y表示两个点的坐标及反射强度,Sqrt表示非负数的平方根函数。
3.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,提取体素块的初始特征的过程包括:对输入的点云等分为间距相等的体素块,各个体素块的长、宽、高分别为L、W、H;计算落入每个体素块中各个点的距离平均值和反射强度平均值,将各个点的距离平均值和反射强度平均值作为该体素块的初始特征。
4.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,获取体素特征空间的过程包括:根据划分的体素块的数量预先分配缓冲区;遍历点云序列并将各个点云分配给对应的关联体素,并保存体素坐标和每个体素的点数;在对遍历点云序列的迭代过程中建立哈希表,通过该表检查体素中是否存在点云;若存在与某个点相关的体素,将体素中点的数量加一,若不存在,则重新选择其他点进行查询;根据获得所有体素的坐标和每个体素中点的数量得到实际体素数;对得到的体素进行检测,删除所有的空体素,得到密集体素;采用GEMM对密集体素进行卷积操作,得到体素特征空间。
5.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,得到点云序列的距离采样局部特征的过程包括:通过距离采样获得关键点dp位置信息,根据关键点位置信息索引映射到各个稀疏卷积对应位置的体素特征空间,以确保关键点在不同层有且仅有一个对应的体素,根据该体素的特征更新关键点的位置信息;将每个体素抽象为一个点,采用PointNet++序列提取方法对体素特征进行提取,得到距离关键点经过稀疏卷积后的特征;采用局部特征融合策略将经过稀疏卷积后的特征进行融合,得到距离采样局部特征。
6.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,得到局部特征关键点特征的过程包括:将经过距离采样获得的关键点dp的位置信息映射到各个稀疏卷积对应位置的体素特征空间,确保关键点在不同层有且仅有一个对应的体素;采用特征最远点采样获得长度为q的特征关键点序列fp,且该特征关键点序列满足约束条件 将每个体素抽象为一个点,采用PointNet++序列提取方法对体素特征进行提取,得到特征关键点经过稀疏卷积后的特征;采用特征融合公式对经过稀疏卷积后的特征进行融合,得到局部特征关键点特征。
7.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,利用双线性插值从鸟瞰特征中获得稠密特征:将体素特征空间通过Z轴投影到2D鸟瞰视图中,使用相邻体素特征进行插值运算,运算的公式为:其中,f(x,y)表示当前插值坐标下的特征,x表示点的横坐标,y表示点的纵坐标,f(Q11)表示Q11坐标下的特征,Q11、Q21、Q12、Q22分别表示相邻体素特征。
8.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,融合策略包括特征关键点融合策略和特征关键点的特征拼接策略;
特征关键点融合策略:
fp=fpconv1∪fpconv2∪fpconv3∪fpconv4∪fpbev特征关键点的特征拼接:
其中,fp表示各个稀疏卷积层特征采样点的并集,fpconv1表示经过第一层稀疏卷积后采样的特征关键点,fpbev表示经过双线性插值从鸟瞰特征中获得稠密特征后采样的特征关键点,ff表示特征关键点的全局特征, 表示经过第一层稀疏卷积后采样的局部关键点特征, 表示经过双线性插值从鸟瞰特征中获得稠密特征后采样的局部关键点特征。
9.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,对距离采样特征和特征采样特征进行感兴区域池化的过程包括:采用3D建议框对距离采样全局特征和特征采样全局特征进行划分,并在每个3D建议框中等间距生成6*6*
6个格点,每个格点用 表示;采用序列提取操作从关键点获取网格点的特征;
根据网格点的特征得到目标框回归结果以及目标框分类预测结果。
10.根据权利要求1所述的一种基于关键点多尺度特征融合的点云3D目标检测方法,其特征在于,模型的损失函数包括建议框生成网络损失函数和网络目标框损失函数;
建议框生成网络损失函数的表达式为:其中,Lrpn表示建议框生成网络损失函数,Lcls表示使用Focal损失计算的分类损失,x,y,z分别表示目标框三维坐标,l,h,w分别表示目标框的长宽高,θ表示目标框的方向角,a
表示Smooth‑L1损失计算方法, 表示分类预测残差,Δr表示回归残差;
网络目标框损失函数的表达式为:
其中,Lrcnn表示网络目标框损失函数,Liou表示预测框与真值框用Focal损失计算损失,p
表示预测目标框残差,Δr表示回归残差。