1.基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,具体按照如下步骤实施:步骤1,构建LPR-AFFN网络;
步骤2,构建局部极坐标表示模块LPR并进行LPR操作;
步骤3,进行坐标转换,计算邻域质心点矩阵、更新极角;
步骤3的具体过程如下:
步骤3.1、对于任意一点,其坐标值为(, ,),利用K邻近算法采集它的k个邻近点,其坐标值为(, ,),点和的相对坐标表示为,其中,任意一邻近点到点的距离记为,表示点和点对应射线和参考方向的夹角,表示任意一点的复数形式在极坐标系中的幅角,则邻近点的极坐标表示为;
(12)
(13)
(14)
步骤3.2、对于任意一点,通过的k个邻近点,对特征矩阵进行张量求和操作和平方根操作,得到邻域质心点特征矩阵;
= (15)
步骤3.3、坐标转换特征矩阵和邻域质心点特征矩阵,进行两次矩阵减法操作后拼接特征矩阵,更新极角和,根据Z-轴旋转不变性可知,和不会发生改变;
= -(16)
(17)
(18)
步骤3.4、对两次拼接后产生的新的特征矩阵,进行张量均值操作得到新的特征矩阵;
(19)
步骤3.5、新的特征矩阵经降维后得到特征矩阵;
步骤3.6、将原始点云、极坐标转换信息和几何距离信息进行拼接,输出大小为的特征矩阵;
(20);
步骤4,构建特征表示模块GPM,并定义局部质心点,寻找质心点的邻近点以构建局部分组;
步骤4中,特征表示模块GPM由卷积层、ReLu激活函数、多层感知机MLP、更新组合局部特征gate操作组成;
具体过程如下:
步骤4.1,根据最远采样点算法从输入的点云中选取一个点A作为查询点,从剩余点云中选择一个最远的点B,此时查询点为(A,B),再从余下点云中需选取最远距离点C,选取点A到点C距离和点B到点C的距离中的最小值作为到查询点的距离d,将采样后的点云分为N个查询点云集合,从查询点云集合中任意选择一组点,在查询点集合中定义一个局部质心点,采用K最邻近算法寻找质心点的邻近点以构造局部分组;
步骤4.2,对步骤4.1分组后的的点云经过操作投影后,得到特征矩阵;
(21)
步骤4.3,对特征矩阵进行矩阵变维和一维卷积操作得到特征矩阵;
(22)
步骤4.4,对特征矩阵分别进行两次一维卷积操作得到同型特征矩阵和;
(23)
(24)
步骤4.5,对特征矩阵进行转置操作,得到特征矩阵;
(25)
步骤4.6,对特征矩阵和做矩阵加法,得到特征矩阵;
(26)
步骤4.7,特征矩阵经ReLu函数和Softmax操作后,得到特征矩阵;
(27)
步骤4.8,特征矩阵和做矩阵乘法,得到特征矩阵;
(28)
步骤4.9,特征矩阵经过激活函数和更新组合局部特征gate操作后,得到特征矩阵;
(29)
步骤4.10,特征矩阵经过矩阵变维和更新组合局部特征gate操作后,得到特征矩阵;
(30)
步骤4.11,特征矩阵经过激活函数、矩阵变维操作后和特征矩阵进行矩阵乘法操作,得到特征矩阵;
(31)
步骤4.12,对特征矩阵和分别进行矩阵变维操作后做矩阵乘法,得到新的特征矩阵;
(32)
步骤4.13,对特征矩阵和进行矩阵拼接,得到大小为的特征矩阵;
(33);
步骤5,对输入的点云初步进行特征提取;
步骤6,构建特征提取模块PCFE并进行PCFE操作;
步骤7,构建自适应特征融合模块AFF,利用AFF构建点云的全局感知能力;
步骤7中,自适应特征融合模块AFF由卷积层、Softmax、矩阵点乘、矩阵相加操作组成;
具体过程如下:
步骤7.1,在语义分割任务中,自适应特征融合模块AFF首先对特征提取模块PCFE输入的大小为的语义特征矩阵扩充维度,然后进行二维卷积操作输出特征矩阵;
(40)
步骤7.2,对进行归一化Softmax操作输出的特征矩阵;
(41)
步骤7.3,特征矩阵与做矩阵点乘运算,并输出特征矩阵;
(42)
步骤7.4,特征矩阵降维后生成的大小为的语义特征矩阵,语义特征矩阵再经过全连接层中的一维卷积操作输出大小为的语义预测,用于预测最终的语义类别,其中是语义预测的类别个数,(43)
步骤7.5,对于实例分割任务,对同样大小为的实例特征矩阵扩充维度,扩维后经二维卷积操作生成特征矩阵;
(44)
步骤7.6,对特征矩阵进行归一化Softmax操作生成特征矩阵;
(45)
步骤7.7,特征矩阵与做矩阵点乘运算,并输出特征矩阵;
(46)
步骤7.8,对实例特征矩阵和语义特征矩阵做矩阵加法,输出特征矩阵;
(47)
步骤7.9,特征矩阵经降维操作后生成大小为的实例特征矩阵,实例特征矩阵再经过全连接层进行一维卷积操作后输出大小为的实例嵌入,其中是实例特征嵌入的维度;
(48)。
2.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤1中,LPR-AFFN网络由编码层和解码层以及跳跃连接组成;编码阶段由一个共享的编码器组成,一个共享的编码器包括四层编码,每层输出特征矩阵大小分别为、、、512;解码阶段由两个并行的解码器组成,两个并行的解码器均包括四层解码,每一层输出的特征矩阵大小分别为、、、;
其中、、、、分别为每层的采样点数;
编码层和解码层均使用与PointNet++相同的结构。
3.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤2中,局部极坐标表示模块LPR由K最邻近算法、张量最大值、邻域点、矩阵减法、张量平铺、矩阵拼接、张量均值、降维操作组成;
具体过程如下:
步骤2.1,对原始点云采用K最邻近算法采集k个邻近点,k设置为20,得到邻近点特征矩阵;
(1)
步骤2.2、邻近点特征矩阵进行邻域点操作得到特征矩阵;
(2)
步骤2.3、特征矩阵进行张量最大值操作,得到特征矩阵;
(3)
步骤2.4,原始点云和特征矩阵,进行矩阵减法操作、张量求和操作和平方根操作,得到特征矩阵;
= (4)
步骤2.5,原始点云进行一维张量平铺操作,得到特征矩阵;
(5)
步骤2.6,对特征矩阵和特征矩阵,进行矩阵拼接操作,得到特征矩阵;
(6)
步骤2.7,对特征矩阵和特征矩阵,进行矩阵拼接操作,得到特征矩阵;
(7)
步骤2.8,对特征矩阵,进行两次张量最大值操作,得到特征矩阵;
(8)
步骤2.9,对特征矩阵,进行幂指数操作,得到特征矩阵;
(9)
步骤2.10,邻近点特征矩阵和原始点云做矩阵减法,得到矩阵特征;
= -(10)
步骤2.11,特征矩阵进行一维张量平铺操作,得到特征矩阵;
(11)。
4.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤5的具体过程如下:步骤5.1,编码层的后三层采用的编码方式与PointNet++相同,每个编码层均会完成一次对输入特征的提取,则四个编码层提取的局部特征输出维度分别是;
步骤5.2,解码层采用的是和pointNet++相同的解码方式,均是对编码层的特征进行上采样,更新从插值操作和跳跃连接合并后的特征,尽可能地保存编码层生成的特征信息,编码层与解码层相互对应,经上采样后更新合并的特征输出维度分别是,即得到128的特征矩阵。
5.根据权利要求1所述的基于自适应特征融合的点云场景语义实例联合分割方法,其特征在于,步骤6中,特征提取模块PCFE由卷积层、上采样操作、矩阵拼接操作组成;
具体过程如下:
步骤6.1,将步骤5.2得到的两个128的特征矩阵,分别用和来表示,以语义分割为例,首先对进行上采样得到新的特征矩阵;
(34)
步骤6.2,将和连接起来得到大小为的特征矩阵;
(35)
步骤6.3,对特征矩阵进行一维卷积操作,输出大小为的特征矩阵;
(36)
步骤6.4,整个解码器存在两个并行分支,同理,对于实例分割任务,用和来表示128的特征矩阵;
步骤6.5,进行上采样得到新的特征矩阵;
(37)
步骤6.6,将和连接起来得到大小为的特征矩阵;
(38)
步骤6.7,对特征矩阵进行一维卷积操作,输出大小为的特征矩阵;
(39)。