1.一种点云语义场景补全系统,其特征在于,包括体素化处理模块、多尺度体素特征提取模块和鸟瞰图特征处理模块;
体素化处理模块以单帧激光雷达点云为输入,对单帧激光雷达点云进行离散化处理,得到结构化3D体素网格,然后对结构化3D体素网格中的各个体素实施特征提取操作,得到各个点级特征,将点级特征经多层感知机进行特征映射,再采用最大池化操作进行聚合,得到初始体素特征;
多尺度体素特征提取模块对初始体素特征进行处理,得到多尺度体素特征,所述多尺度体素特征提取模块采用改进的Cylinder3D编码器,改进的Cylinder3D编码器包括不对称残差块和不对称下采样块;
鸟瞰图特征处理模块包括编码器和解码器,编码器对初始体素特征进行处理,提取得到多尺度鸟瞰图特征,并将多尺度鸟瞰图特征与多尺度体素特征进行融合,将融合后的特征输送至解码器,解码器基于跳跃连接、特征拼接和内容感知特征重组,最终输出语义场景补全的预测结果。
2.根据权利要求1所述的点云语义场景补全系统,其特征在于,在体素化处理模块中,先从输入的单帧激光雷达点云中筛选出位于预定义范围内的点,从而得到一个过滤后的点云集,,表示第个点云,表示点云数量,基于点云集得到结构化3D体素网格,,表示第个体素,、、分别为点云体素化后在3D空间中对应的长、宽、高三个维度的体素数量;
然后对结构化3D体素网格中的各个体素实施特征提取操作,得到各个点级特征,第个点级特征的表达式为:;
其中,表示与对应的体素质心之间的偏移量,表示的绝对空间坐标,为的反射强度;
再将点级特征经多层感知机进行特征映射,多层感知机由堆叠的全连接层、批归一化层以及ReLU激活函数构成,再采用最大池化操作进行聚合,得到初始体素特征,初始体素特征的表达式为:;
;
其中,表示初始体素特征,表示第个体素的聚合特征,是一个带有ReLU激活函数的线性层,表示最大池化操作,表示第个点级特征,表示第个点云。
3.根据权利要求2所述的点云语义场景补全系统,其特征在于,在多尺度体素特征提取模块中,不对称残差块通过两条不同的分支处理初始体素特征:一条分支应用连续的3D子流形稀疏卷积,卷积核的尺寸依次为1×3×3和3×1×3;另一条分支应用连续的3D子流形稀疏卷积,卷积核的尺寸依次为3×1×3和1×3×3;最终,将来自两条分支的输出张量进行逐元素相加;相加的结果输入至不对称下采样块,不对称下采样块是设置在不对称残差块之后的、步长为2的3D稀疏卷积层,经过不对称下采样块处理得到多尺度体素特征,,其中,表示实数集合,表示第个尺度体素特征的通道数,=1,2,3。
4.根据权利要求3所述的点云语义场景补全系统,其特征在于,在编码器中,编码器先对初始体素特征投影,生成一个分辨率为的2D网格,再通过最大池化降进行特征融合,第个2D网格单元的鸟瞰图特征的表达式为:;
其中,是由一个线性层和ReLU激活函数构成的处理单元,表示第个体素,表示第个体素的聚合特征;
进而得到初始鸟瞰图特征,;
然后编码器对初始鸟瞰图特征依次执行4次2倍下采样操作以提取得到多尺度鸟瞰图特征,,表示第个尺度体素特征的通道数,=1,2,3,4;其中,先对初始鸟瞰图特征进行第1次下采样,得到第1次下采样后的鸟瞰图特征,然后将与第1个尺度体素特征融合,融合后输入到编码器的下采样模块,再通过卷积操作后,进行第2次下采样,得到第2次下采样后的鸟瞰图特征,再将与第2个尺度体素特征融合,融合后输入到编码器的下采样模块,再通过卷积操作后,进行第3次下采样,得到第3次下采样后的鸟瞰图特征,再对将与第3个尺度体素特征融合,融合后输入到编码器的下采样模块,再通过卷积操作后,进行第4次下采样,最终得到融合后的特征。
5.根据权利要求1所述的点云语义场景补全系统,其特征在于,在编码器和解码器之间设有空洞空间金字塔池化模块,在空洞空间金字塔池化模块中,选取1、2、4作为扩张率组合来执行膨胀卷积。
6.根据权利要求4所述的点云语义场景补全系统,其特征在于,在解码器中,采用内容感知特征重组模块对融合后的特征进行上采样,内容感知特征重组模块包括重组核预测单元和特征重组单元;
重组核预测单元用于根据输入的融合后的特征,并结合最终输出特征的每个位置,动态预测一个重组核,重组核是一组权重参数,用于根据输入的融合后的特征,为上采样过程中的不同区域分配相应的权重,从而实现内容感知的特征重组;
特征重组单元用于基于重组核进行内容感知的特征重组,进而得到语义场景补全的预测结果;
在重组核预测单元中,融合后的特征先通过尺寸为1×1卷积核进行特征通道缩减,然后经过一个尺寸为的卷积操作,生成重组核,重组核的通道大小为,为上采样的倍率,为上采样卷积核的大小,然后,对重组核进行像素级重排列,重排列后,重组核的大小为,最后,运用归一化指数函数在通道维度上对重组核进行归一化处理;
在特征重组单元中,基于上采样权重,在目标位置的邻域内进行特征重组,特征重组的表达式为:;
其中,表示目标位置的输出特征,表示局部采样邻域的半径,,表示向下取整操作,表示在位置的值,表示以目标位置对应的源位置为中心的区域的特征矩阵,表示在位置的特征。
7.根据权利要求6所述的点云语义场景补全系统,其特征在于,所述系统的总损失函数为:;
;
;
;
;
;
;
;
其中,表示加权交叉熵损失函数,表示洛瓦斯损失函数,表示焦点损失函数,表示场景-类别亲和损失函数,是第个体素对应类别的真实标签,是类别的权重,是第个体素被预测为类别的概率输出值,表示类别总数,表示具有全局最小值的分段线性函数,是类别的误差向量,是类别的平衡因子,是聚焦参数,、和分别表示精度、召回率和特异性;表示第个体素是否属于类别的二进制值,若第个体素属于类别,则取值为1,若第个体素不属于类别,则取值为0。