1.一种基于全局及局部自注意力的点云语义分割系统,其特征在于:包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块;
其中下采样模块用于缩减点云数量、提取点云高维特征,具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联,轻量级的全局自注意力模块用于获取点云的整体关联,融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合,上采样模块用于将点云的数量进行还原;
下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块和融合模块共同构成自注意力层,该点云语义分割系统共包含三个自注意力层,第一个自注意力层以原始点云的坐标及升维特征作为输入进行计算,后面的两个自注意力层均以上一个自注意力层的的输出作为输入进行计算;
利用构建的基于全局及局部自注意力的点云语义分割系统,进行点云语义分割。
2.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统,其特征在于:所述下采样模块的具体处理过程如下:
首先对输入坐标采用最远点采样算法获得候选点坐标,然后使用k邻近算法获得侯选点的临近点坐标;
下采样模块输出的采样坐标为候选点坐标;
利用索引从输入特征中获得候选点特征及候选点的临近点特征;
将候选点特征、候选点坐标、邻近点特征和邻近点坐标进行差异化融合,通过最大池化获取融合后的特征,具体融合过程可描述为:Fnew=max(MLP(cat(Fknn‑Fc),Fc,Pknn‑Pc))其中,Fnew为下采样模块输出的采样特征,Fknn为临近点特征,Fc为候选点特征,Pknn为临近点坐标,Pc为候选点坐标,max为最大池化操作,MLP为多层感知器,cat为拼接操作。
3.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统,其特征在于:所述具有逆密度权重的局部自注意力模块具体处理过程如下:将输入特征分别通过3个线性层处理,获得Q、K、V矩阵;
求输入坐标中每个点与其邻域点的差,将获得的差异性坐标信息送入线性层,得到位置编码;
求输入坐标中每个点到其他点的平均距离,将平均距离取倒数,获得点集的逆密度权重,再利用索引获得每个点的逆密度权重;
将Q矩阵和K矩阵求差,获得的差值与位置编码求和,求和的结果再经过MLP和softmax函数处理,之后与每个点的逆密度权重做逐点相乘,获得注意力权重;
将V矩阵与位置编码求和,求和的结果与注意力权重逐点相乘,再将每个点的局部信息聚合,获得注意力特征图;
注意力特征图经过MLP处理后,与原始输入特征相加,获得局部自注意力模块输出的局部特征;
局部自注意力模块的输出坐标为该模块的输入坐标。
4.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统,其特征在于:所述全局自注意力模块的处理过程如下:
所述全局自注意力模块的输入为下采样模块输出的采样特征;
输入特征分别经过3个卷积层处理后,获得Q、K、V矩阵;
Q矩阵与K矩阵进行矩阵相乘,然后将乘积的结果相加至第一行,之后在第一行上进行softmax,得到注意力权重;
注意力权重与V矩阵进行逐点相乘,乘积的结果再与输入特征进行相加,得到全局自注意力模块输出的全局特征。
5.根据权利要求3或4所述的基于全局及局部自注意力的点云语义分割系统,其特征在于:所述Q、K、V矩阵的维度均为512维。
6.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统,其特征在于:所述融合模块由cat函数和MLP构成,
融合模块F1、F2、F3的输入为局部自注意力模块输出的局部特征以及全局自注意力模块输出的全局特征,融合模块F4的输入为复制后的最大特征以及上采样模块U1输出的采样特征;
所述融合模块首先将两个输入特征进行拼接,然后将拼接后的特征送入MLP,得到该模块输出的融合特征。
7.根据权利要求1所述的基于全局及局部自注意力的点云语义分割系统,其特征在于:所述上采样模块使用PointNet++算法中的插值方法将点云数量还原,输出采样特征。
8.一种基于全局及局部自注意力的点云语义分割系统的语义分割方法,其特征在于,包括以下步骤:步骤1:构建点云语义分割网络,该网络包括下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块、融合模块以及上采样模块;
其中下采样模块用于缩减点云数量、提取点云高维特征,具有逆密度权重的局部自注意力模块用于补偿点云的不均匀分布以及获取点云的局部关联,轻量级的全局自注意力模块用于获取点云的整体关联,融合模块的主要作用是将两种不同的注意力模块的输出在同一尺度上融合,上采样模块用于将点云的数量进行还原,下采样模块、具有逆密度权重的局部自注意力模块、轻量级的全局自注意力模块和融合模块共同构成自注意力层,该点云语义分割网络共包含三个自注意力层,第一个自注意力层以原始点云的坐标及升维特征作为输入进行计算,后面的两个自注意力层均以上一个自注意力层的的输出作为输入进行计算;该网络中:将原始输入点云送入多层感知机MLP层进行特征映射,MLP层输出的映射特征送入第一层上采样模块U1和第一层自注意力层S1中;
将映射特征对应的坐标送入第一层自注意力层S1中;
在三个自注意力层S1、S2和S3中,下采样模块输出的采样坐标送入局部自注意力模块,输出的采样特征同时送入局部自注意力模块和全局自注意力模块;
第一层局部自注意力模块LSA1的输出坐标送入第二层自注意力层S2中;
局部自注意力模块LSA1输出的局部特征既送入自注意力层S2中,又与全局自注意力模块GSA1输出的全局特征一起送入第一层融合模块F1;
第二层局部自注意力模块LSA2的输出坐标送入第三层自注意力层S3中;
局部自注意力模块LSA2输出的局部特征既送入第三层自注意力层S3中,又与第二层全局自注意力模块GSA2输出的全局特征一起送入第二层融合模块F2;
第三层局部自注意力模块LSA3输出的局部特征既送入最大池化层中,又与第三层全局自注意力模块GSA3输出的全局特征一起送入第三层融合模块F3;
自注意力层S2、S3的内部数据处理过程与自注意力层S1一致;
融合模块F3输出的融合特征和融合模块F2输出的融合特征一起送入上采样模块U3;
融合模块F1输出的融合特征和上采样模块U3输出的采样特征一起送入上采样模块U2;
上采样模块U2输出的采样特征和MLP层输出的映射特征一起送入上采样模块U1;
局部自注意力模块LSA3输出的局部特征经过最大池化层处理后,得到最大特征;
最大特征经过复制后与上采样模块U1输出的采样特征一起送入第四层融合模块F4;
融合模块F4输出的融合特征经过softmax函数处理后,最终输出点云语义分割结果;
步骤2、用所构建的点云语义分割网络进行点云语义分割。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求8所述的方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于:所述程序被处理器执行时实现如权利要求8所述的方法。