1.多尺度特征提取分类的弱监督点云语义分割方法,其特征在于,包括:
获取并预处理原始点云数据,以生成目标点云数据,所述目标点云数据由点云的数量、位置特征和语义特征组成;
根据预设的ERFA模块对所述目标点云数据进行特征提取、特征聚合处理,以生成多个维度不相同的特征图,其中,所述预设的ERFA模块内部具体包括:第一共享MLP层、第二共享MLP层、第三共享MLP层、扩张特征提取层、激活函数层,其中,所述第二共享MLP层、所述扩张特征提取层、所述第三共享MLP层、所述激活函数层从左至右依次串行连接,所述第一共享MLP层与所述第二共享MLP层、所述扩张特征提取层、所述第三共享MLP层、所述激活函数层并行连接;
分别对每个所述维度不相同的特征图进行查询、插值处理,对应获取每个所述特征图对应的语义特征后进行特征拼接处理,以生成目标语义特征,其中,所述扩张特征提取层用于获取聚合特征,具体步骤,包括:对输入的点云特征进行处理,获取点云数量为1,位置特征为3维,语义特征为d维的点云特征;对所述点云数量为1,位置特征为3维,语义特征为d维的点云特征进行拆分,获取点云数量为1、位置特征为3维、语义特征为0维的点云特征以及点云数量为1、位置特征为0维,语义特征为d维的点云特征;分别对所述点云数量为1、位置特征为3维、语义特征为0维的点云特征以及所述点云数量为1、位置特征为0维,语义特征为d维的点云特征进行第一KNN处理,对应获取点云数量为k1,位置特征为3维,语义特征为0维的点云特征和点云数量为k1,位置特征为0维,语义特征为d维的点云特征;对所述点云数量为k1,位置特征为3维,语义特征为0维的点云特征进行位置编码处理,以获取点云数量为k1,位置特征为d维的位置编码特征;对所述点云数量为1,位置特征为3维,语义特征为d维的点云特征进行第二KNN处理,以获取点云数量为k2,位置特征为3维,语义特征为d维的点云特征,其中,第一KNN处理与第二KNN处理时聚焦尺度不同;对所述点云数量为k2,位置特征为3维,语义特征为d维的点云特征进行拆分,得到点云数量为k2,位置特征为3维,语义特征为0维的点云特征和点云数量为k2,位置特征为0维,语义特征为d维的点云特征;对所述点云数量为k2,位置特征为3维,语义特征为0维的点云特征进行位置编码处理,以获取点云数量为k2,位置特征为d维的位置编码特征;将所述点云数量为k2,位置特征为d维的位置编码特征与所述点云数量为k1,位置特征为d维的位置编码特征进行特征拼接处理后进行注意力池化处理,以获取增强后的位置编码特征;将所述点云数量为k1,位置特征为0维,语义特征为d维的点云特征与所述点云数量为k2,位置特征为0维,语义特征为d维的点云特征进行特征拼接处理后进行注意力池化处理,以获取增强后的点云特征,其中,增强后的点云特征的数学表达式为:;
其中,表示点云数量为k1,位置特征为0维,语义特征为d维的点云特征,表示点云数量为k2,位置特征为0维,语义特征为d维的点云特征;将所述增强后的位置编码特征与所述增强后的点云特征进行特征拼接处理,以获取聚合特征,其中,聚合特征的数学表达式为:;
其中,表示增强后的位置编码特征;根据预设的多尺度分类策略和局部对比正则化策略对预设的初始预测网络模型进行训练,以获取目标预测网络模型;
将所述目标语义特征作为训练信号输入至所述目标预测网络模型中进行处理,以生成分类结果。
2.根据权利要求1所述的多尺度特征提取分类的弱监督点云语义分割方法,其特征在于,所述根据预设的ERFA模块对所述目标点云数据进行特征提取、特征聚合处理,以生成多个维度不相同的特征图的具体过程,包括:根据第一ERFA模块对所述目标点云数据进行特征提取、特征聚合处理,以生成第一特征图;
根据第二ERFA模块对所述第一特征图进行特征提取、特征聚合处理,以生成第二特征图;
根据第三ERFA模块对所述第二特征图进行特征提取、特征聚合处理,以生成第三特征图;
根据第四ERFA模块对所述第三特征图进行特征提取、特征聚合处理,以生成第四特征图;
其中,所述第一特征图、所述第二特征图、所述第三特征图、所述第四特征图的语义特征维度相同,所述第四特征图的位置特征维度高于所述第三特征图,所述第三特征图的位置特征维度高于所述第二特征图,所述第二特征图的位置特征维度高于所述第一特征图,所述第四特征图的点云数量低于所述第三特征图,所述第三特征图的点云数量低于所述第二特征图,所述第二特征图的点云数量低于所述第一特征图。
3.根据权利要求2所述的多尺度特征提取分类的弱监督点云语义分割方法,其特征在于,根据第一ERFA模块对所述目标点云数据进行特征提取、特征聚合处理,以生成第一特征图的具体步骤,包括:分别根据第一共享MLP层和第二共享MLP层对所述目标点云数据进行维度变换处理,对应获取维度变换后的第一语义特征、维度变换后的第二语义特征;
对所述维度变换后的第二语义特征进行位置编码处理,以生成输入的点云特征;
对所述输入的点云特征进行扩张特征提取处理,以生成第一聚合特征;
根据第三共享MLP层对所述第一聚合特征进行维度变换处理后与所述维度变换后的第一语义特征进行特征拼接,获取拼接特征;
根据激活函数对所述拼接特征进行处理,以生成第一特征图。
4.根据权利要求1所述的多尺度特征提取分类的弱监督点云语义分割方法,其特征在于,所述局部对比正则化策略包括:
其中,表示局部对比正则化策略损失函数,表示点云中点的数量,表示设置的超参数,表示最近邻点的个数,表示原始点云经过函数处理后得到的预测值,表示参数,表示查询点的预测值,表示预测值的均值,表示指示函数。
5.根据权利要求1所述的多尺度特征提取分类的弱监督点云语义分割方法,其特征在于,所述多尺度分类策略包括:
其中,表示多尺度分类策略损失函数,为标注类的总数,表示点云中点的数量,为层的总数,为属于类的真实值,为属于类在层的预测值。
6.多尺度特征提取分类的弱监督点云语义分割系统,其特征在于,包括:
预处理模块,用于获取并预处理原始点云数据,以生成目标点云数据,所述目标点云数据由点云的数量、位置特征和语义特征组成;
ERFA模块,用于对所述目标点云数据进行特征提取、特征聚合处理,以生成多个维度不相同的特征图;其中,所述ERFA模块内部具体包括:第一共享MLP层、第二共享MLP层、第三共享MLP层、扩张特征提取层、激活函数层,其中,所述第二共享MLP层、所述扩张特征提取层、所述第三共享MLP层、所述激活函数层从左至右依次串行连接,所述第一共享MLP层与所述第二共享MLP层、所述扩张特征提取层、所述第三共享MLP层、所述激活函数层并行连接;
目标语义特征生成模块,用于分别对每个所述维度不相同的特征图进行查询、插值处理,对应获取每个所述特征图对应的语义特征后进行特征拼接处理,以生成目标语义特征,所述目标语义特征包括查询点云对应的语义特征和所述查询点云的邻近点云对应的语义特征;其中,所述扩张特征提取层用于获取聚合特征,获取所述聚合特征的具体过程,包括:对输入的点云特征进行处理,获取点云数量为1,位置特征为3维,语义特征为d维的点云特征;对所述点云数量为1,位置特征为3维,语义特征为d维的点云特征进行拆分,获取点云数量为1、位置特征为3维、语义特征为0维的点云特征以及点云数量为1、位置特征为0维,语义特征为d维的点云特征;分别对所述点云数量为1、位置特征为3维、语义特征为0维的点云特征以及所述点云数量为1、位置特征为0维,语义特征为d维的点云特征进行第一KNN处理,对应获取点云数量为k1,位置特征为3维,语义特征为0维的点云特征和点云数量为k1,位置特征为0维,语义特征为d维的点云特征;对所述点云数量为k1,位置特征为3维,语义特征为0维的点云特征进行位置编码处理,以获取点云数量为k1,位置特征为d维的位置编码特征;对所述点云数量为1,位置特征为3维,语义特征为d维的点云特征进行第二KNN处理,以获取点云数量为k2,位置特征为3维,语义特征为d维的点云特征,其中,第一KNN处理与第二KNN处理时聚焦尺度不同;对所述点云数量为k2,位置特征为3维,语义特征为d维的点云特征进行拆分,得到点云数量为k2,位置特征为3维,语义特征为0维的点云特征和点云数量为k2,位置特征为0维,语义特征为d维的点云特征;对所述点云数量为k2,位置特征为3维,语义特征为0维的点云特征进行位置编码处理,以获取点云数量为k2,位置特征为d维的位置编码特征;将所述点云数量为k2,位置特征为d维的位置编码特征与所述点云数量为k1,位置特征为d维的位置编码特征进行特征拼接处理后进行注意力池化处理,以获取增强后的位置编码特征;将所述点云数量为k1,位置特征为0维,语义特征为d维的点云特征与所述点云数量为k2,位置特征为0维,语义特征为d维的点云特征进行特征拼接处理后进行注意力池化处理,以获取增强后的点云特征,其中,增强后的点云特征的数学表达式为:;
其中,表示点云数量为k1,位置特征为0维,语义特征为d维的点云特征,表示点云数量为k2,位置特征为0维,语义特征为d维的点云特征;将所述增强后的位置编码特征与所述增强后的点云特征进行特征拼接处理,以获取聚合特征,其中,聚合特征的数学表达式为:;
其中,表示增强后的位置编码特征;
目标预设网络模型生成模块,用于根据预设的多尺度分类策略和局部对比正则化策略对预设的初始预测网络模型进行训练,以获取目标预测网络模型;
分类模块,用于将所述目标语义特征作为训练信号输入至所述目标预测网络模型中进行处理,以生成分类结果。
7.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-5任一所述的多尺度特征提取分类的弱监督点云语义分割方法的步骤。
8.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-5任一所述的多尺度特征提取分类的弱监督点云语义分割方法的步骤。