1.一种基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,包括如下步骤:步骤1、对三维室内场景的原始点云数据进行预处理,包括对点云数据进行数据增强和点云下采样;
步骤2、将步骤1得到的点云数据的RGB信息以及高度信息Z作为点云的特征值,使用神经元群体对特征值进行编码,将特征值编码为包含T个时间步的0,1脉冲序列;
步骤3、按照时间维度,将步骤2得到的脉冲序列顺序输入预训练的基于残差脉冲神经网络的三维室内场景的语义分割模型中,其中的残差脉冲神经网络,在每个ResNet残差卷积块内,使用刚性卷积核KPconv代替图像卷积,然后经过批归一化后,输入积分发射神经元中,脉冲神经元的定义如下:其中
在语义分割模型的预训练阶段,模型整体损失函数定义为:其中
步骤4、每T个时间步之后,对语义分割模型的输出进行解码,获取每个点属于各个语义类别的概率,根据概率对室内场景进行语义分割,包括:步骤4.1、对T个时间步的脉冲序列顺序输入基于残差脉冲神经网络的三维室内场景的语义分割模型中进行处理后所得到的每个神经元群体中每个神经元的尖峰相加以获得T时刻内的放电率fr;
步骤4.2、根据放电率,获得每个点属于各个语义类别的概率,得到分割结果:放电率fr,经过一个128*13的全连接层后,得到点云中每个点在每个语义类别的概率,把概率最大的类别作为点的标签,从而实现语义分割。
2.根据权利要求1所述基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,步骤1的数据增强具体为:先对点云数据进行全局旋转,然后进行随机比例缩放,最后向点云数据中添加噪音。
3.根据权利要求1所述基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,步骤1中的点云下采样具体为:使用体素网格下采样,以0.03m作为网格的大小,在每个体素中取一个采样点代替原来的点集。
4.根据权利要求1所述基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,步骤2包括:对于每个特征值,创建一个神经元群体E来对其进行编码,每个神经元群体有五个神经元,具体的编码过程为:首先将特征值转换为群体中每个神经元的刺激强度AE:其中μ和σ是可训练参数;
然后神经元群体中的神经元根据AE产生脉冲信号;
E中的神经元采用单步软复位积分发射神经元;
神经元的动力学由以下方程控制:
其中
经过编码后,(points,features)格式数据就转变为(T,points,features*n);
其中points为点的个数,features为每个点的特征值个数,n为神经元群体中神经元的个数,T为时间步。
5.根据权利要求1所述基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,步骤3所述基于残差脉冲神经网络的三维室内场景的语义分割模型包含编码器和解码器:其中,编码器用于特征提取,包含5层脉冲卷积网络,每层脉冲卷积网络包含两个ResNet残差卷积块;
除第一层脉冲卷积网络外,其他四层脉冲卷积网络的第一个残差卷积块均是跨步的;
在每个ResNet残差卷积块内,使用刚性卷积核KPconv代替图像卷积,然后经过批归一化后,输入积分发射神经元中;
每个ResNet残差卷积块的输入特征维度分别20,64,128,128,256,256,512,512,1024,1024;
解码器用最近上采样来获得最终的逐点特征;
编码器和解码器的特征使用跳跃连接进行拼接。
6.根据权利要求5所述基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,所述KPconv为定义在点云上的卷积;
KPconv的定义为下:
其中
将核函数的输入定义为
在第4,第5层使用卷积核可变形的KPConv,卷积核可变形的KPconv定义如下:KPconv卷积后的数据,经过批归一化后,当作t时刻的电流,输入到脉冲神经元中。
7.根据权利要求5或6所述基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,解码器中使用四层上采样层来获得最终逐点的特征;
每个上采样层中使用最近点上采样来逐渐增加点的个数,对于要恢复的点x,找到其最近N个点,按照距离的倒数对特征加权平均,得到上采样后要恢复的点的特征,然后将编码器中下采样的特征拼接到上采样的特征上,经过一个全连接的脉冲神经网络输入到下一上采样层中;
四层上采样层输入的特征维度分别是2048,1024,512,256。
8.根据权利要求6所述基于残差脉冲神经网络的三维室内场景的语义分割的方法,其特征在于,在语义分割模型的预训练阶段,模型整体损失函数定义为:其中
利用随机梯度下降法SGD对整体损失函数进行优化,得到训练好的语义分割模型。